학습 데이터 기울기로 추적한 LLM 안전성 붕괴
원제 Follow the Gradient: Tracing Safety Degradation Back to Training Data
추천 25댓글 1
Key Point
기울기 기반 필터링으로 미세조정 과정의 숨겨진 안전 위협을 실제 규모에서 감지·제거할 수 있음을 처음 입증했으며, 이는 LLM 구축 중 안전 검증 방식의 전환을 의미한다.
핵심 요약
- 미세조정 중 무해해 보이는 학습 데이터도 LLM의 안전성을 조용히 침식할 수 있지만, 표준 필터로는 이를 감지하기 어렵다.
- SimpleLoRIF는 기울기 임베딩 방식으로 안전하지 않은 행동과 일치하는 미세조정 예제를 식별하며, 최종 4개 트랜스포머 블록만 역전파하여 백만 개 규모 데이터셋을 처리 가능하게 개선했다.
- 긴급 오정렬 사례에서 기울기가 보안 취약한 코드 학습 데이터와 미세조정 후 나타나는 광범위한 해로운 행동을 연결하며, 오정렬 모델의 기울기 공간에서 AUC 0.865를 달성했다.
- SafeTulu는 Tulu 3에서 안전하지 않은 응답과 기울기 정렬도가 높은 상위 20% 예제를 제거한 버전으로, GCG 공격 성공률을 Qwen·Llama·Olmo에서 최대 22% 감소시키면서 성능은 유지 또는 개선했다.
- LLM-as-a-judge와 기존 기울기 필터링보다 우수한 성과를 보였으며, 제거된 데이터 분석 결과 도구 실행 실패와 내러티브 산술 같은 미연구 안전 위협 요소를 발견했다.
- 연구팀은 SafeTulu와 Hugging Face Space를 공개하여 연구자들이 제거 비율이나 특정 부분 집합 필터링 등을 커스터마이징해 자신의 SafeTulu 버전을 구축할 수 있게 제공한다.