확산 언어 모델의 취약점: 피드백 제어로 편향 주입 공격
원제 Noise Out, Bias In: Targeted Bias Injection in Diffusion Language Models via Closed-Loop Activation Steering
추천 14댓글 1
Key Point
마스크드 확산 언어 모델이 기존 자동회귀 모델과 달리 여러 단계에서 답변을 노출하는 특성을 악용한 새로운 공격 벡터가 발견되었으며, 피드백 제어로 편향 주입 효과를 크게 증폭할 수 있다는 점이 주목할 만하다.
핵심 요약
- 마스크드 확산 언어 모델(dLLM)은 토큰을 여러 번 재예측하면서 반복적으로 디노이징하므로, 각 토큰이 확정되기 전에 생성 확률이 여러 단계에서 노출된다.
- 연구진은 내부 활성화에 접근 가능한 공격자가 이러한 디노이징 궤적을 악용해 모델을 특정 인구통계학적 답변으로 유도하는 '표적 편향 주입' 공격을 개발했다.
- 공격은 비례-적분(PI) 제어기를 사용해 디노이징 과정 중 목표 답변 확률을 추적하고, 조향 벡터의 강도를 실시간으로 조정한다.
- 모호한 BBQ 질문에서 LLaDA-8B-Instruct 모델의 특정 집단 선호도가 1.8%에서 16.7%로 상승했으며, 고정 강도 기법 대비 3배 이상 효과적이고, 다른 편향 목표에서는 답변을 최대 37%포인트 이동시켰다.
- SocialStigmaQA에서 낙인찍는 답변 선택이 17.6%에서 58.1%로 증가했고, 각 공격은 GPU 1개에서 약 40분 소요된다.
- 고정 강도 조향이나 개별 예시별 강도 설정은 크기는 작지만 거의 3배 많은 출력을 손상시키므로, 피드백 기반 제어가 핵심이다.
- 연구팀은 디노이징 궤적이 dLLM의 새로운 제어 채널임을 지적하며, 동결된 모델 단독이 아닌 전체 서빙 스택을 검토하는 편향 감시가 필요하다고 강조한다.