스파스 오토인코더의 표현 재분배를 측정하는 새로운 지표 제시

핵심 요약

• 스파스 오토인코더(SAE)는 언어 모델의 활성화를 희소 특성으로 분해하지만, 프롬프트 변환이 이들 특성 간 활동을 재분배하는 문제가 있다.
• 동일 특성이 보이는 변화도 다른 프롬프트에서 반복되지 않을 수 있으며, 반복되더라도 후속 계산에 영향을 주지 않을 수 있다.
• 연구팀은 일관된 방향으로 반복되는 큰 특성 반응을 식별하는 재분배 민감도 점수(RSS)를 제안했다.
• 8개 언어 모델의 27개 사전학습 SAE에서 테스트 프롬프트 변환들이 제외된 변형 모델에서도 재현 가능한 재분배 패턴을 보였다.
• 반복되는 표현 변화를 부호 있는 출력 기여도와 결정 실패로부터 분리하는 방법을 제시했다.
• 고정된 선형 출력의 경우, 반응 크기·출력 계수·방향 정렬·경계 여유가 후속 결과에 미치는 영향을 정확히 분해할 수 있다.
• 두 개의 동결된 안전 출력에서 RSS 지원 침식과 완전한 경계 여유를 결합하면 중앙값 20·19개 특성으로 0.935·0.958의 반복 실패 AUROC를 달성했다.
• 이는 완전 침식 사용 시의 0.965·0.964와 비교 가능한 성능이며, RSS는 표현 변화가 반드시 실패를 의미하지 않음을 보여준다.