자연언어 오토인코더에서 핵심 토큰 선택하기
Key Point
언어 모델의 잠재된 위협을 효율적으로 감시하려면 어느 부분을 먼저 검사할지 알아야 하는데, 이 연구가 전체 5%의 토큰만으로도 대부분의 위협을 포착할 수 있는 방법을 제시해 모델 감시의 실용성을 높입니다.
핵심 요약
- 언어 모델의 내부 활성화를 읽을 수 있는 설명으로 변환하는 자연언어 오토인코더에서, 모든 토큰 위치를 설명하는 것은 비용이 크므로 어느 위치를 감시해야 할지 연구했다.
- 프롬프트 인젝션과 은폐 공격에 대해 470만 개의 설명으로 실험한 결과, 모델 계산 신호보다 채팅 구조만으로 학습한 랭커가 모델 순전파 없이도 더 관련성 높은 설명을 선택했다.
- 4개 데이터셋 중 3개에서 전체 위치의 5% 만 설명해도 모든 위치를 설명했을 때의 성공률을 거의 유지했으며, 성공은 위협 관련 설명을 얻는 것을 의미한다.