Hacker NewsAI · 머신러닝

LLM 거부 응답을 영구 손상 없이 우회하는 Engram 기법

원제 Dynamic Abliteration: Non-Destructive Refusal Suppression via Engram Steering

102 포인트댓글 33
Key Point

LLM의 안전장치를 영구 손상 없이 우회하는 기술이 공개됨에 따라 오픈 소스 모델의 거부 메커니즘 견고성 문제가 현실화되고 있다.

핵심 요약

  • 기존 가중치 절제(weight abliteration)는 모델 가중치를 영구적으로 변경해 거부 방향을 제거하지만 비거부 작업 성능도 저하시킨다.
  • 이 글은 Qwen3-4B 모델을 예로 PyTorch 포워드 훅으로 런타임 중간 잔차 스트림에 개입해 가중치는 완전히 고정한 채 거부 행동을 억제하는 동적 절제(Dynamic Abliteration) 기법을 제시한다.
  • 단일 레이어 벡터 뺄셈은 다운스트림 레이어가 거부 행동을 재구성하므로 작동하지 않음을 시연했다.
  • 12, 14, 16, 18, 20 레이어에서 대비 쌍(합법적 프롬프트 vs 거부 프롬프트)의 차이 벡터를 추출해 다층 조향 컨트롤러를 구축하면 단일 레이어 방식의 재구성 문제를 해결할 수 있다.
  • 정적 벡터 주입은 모든 토큰에 동일한 오프셋을 더하고 알파 값을 수동으로 튜닝해야 하며 비거부 작업에서 성능 저하를 초래한다는 한계가 있다.
  • Engram은 DeepSeek의 조건부 메모리 아키텍처를 적용해 세 가지 메커니즘으로 정적 조향의 문제를 해결한다: (1) 시그모이드 컨텍스트 게이트는 일반 토큰 처리 시 주입을 0에 가깝게 하고 거부 트리거 출현 시만 1.0으로 조향을 활성화, (2) N-그람 해시를 O(1) 상수 시간에 처리해 시퀀스 트리거를 인식, (3) 레이어별 학습 가능한 투영 헤드로 각 레이어에 필요한 정확한 형태를 자동 학습한다.
  • Engram 모듈은 4개의 소수 기반 해시 테이블로 공유 메모리를 구축하고 각 대상 레이어에 대해 투영과 게이트 네트워크를 두며 포워드 훅으로 연결한다.
  • 가중치는 정규분포(평균 0, 표준편차 1e-3)로 초기화하고 투영은 항등 행렬, 게이트는 0으로 초기화한 뒤 게이트 바이어스를 -2로 설정해 초기 게이트가 약 12% 정도 열린 상태가 되도록 한다.
  • PKU-SafeRLHF 데이터셋의 2,000개 샘플로 Engram 헤드를 훈련하며 거부 vs 비거부 샘플에 대해 대상 손실 마스킹을 적용한다.
  • 최종 결과로 키로거 작성 요청에 대해 정적 조향은 완전히 거부하지만 Engram 조향은 거부를 완전히 제거하면서도 생각 과정과 기술적 구현 코드를 생성한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗