텍스트 거부 신호로 멀티모달 AI 안전성 확보
원제 Harnessing Textual Refusal Directions for Multimodal Safety
추천 13댓글 2
Key Point
안전 데이터 수집 없이 기존 텍스트 모델의 안전 메커니즘을 이미지·비디오에 재사용할 수 있다는 점이 멀티모달 AI 안전성 구축의 비용과 윤리적 부담을 획기적으로 줄인다.
핵심 요약
- 멀티모달 대형 언어 모델(MLLM)의 안전성 강화는 이미지·비디오 등 각 형식별로 새로운 안전 데이터를 수집해야 했고, 수집·배포 과정에서 윤리·법적 문제가 발생했다.
- 연구팀은 텍스트 LLM에서 추출한 '거부 방향(refusal directions)'이 이미지, 비디오 등 다른 모달리티에도 적용 가능한지 검증했고, 레이어 선택·조종 강도·크로스모달 정렬에 따라 효과가 달라짐을 확인했다.
- MARS(Modality-Agnostic Refusal Steering)라는 학습 없이 작동하는 경량 방식을 제안했으며, 활성화 중심화로 모달리티 불일치를 바로잡고 기하학적 신뢰 영역 내에서 조종 강도를 적응적으로 조절한다.
- MARS는 첫 생성 토큰에서 최적 개입 레이어를 선택하며, 멀티모달 안전 데이터 없이도 안전성을 강화할 수 있다.
- 5개의 주요 MLLM에서 안전성·유용성·비디오 탈옥 공격 테스트를 진행한 결과, MARS는 일관된 안전성 향상을 달성하면서 과도한 거부를 피하고 유용성을 유지했다.
- 이 연구는 안전 관련 구조가 모달리티 간에 공유되며, 텍스트 거부 방향이 멀티모달 정렬의 강력하고 미개발 된 기초임을 보여준다.