텍스트 거부 신호로 멀티모달 AI 안전성 확보
Key Point
안전 데이터 수집 없이 기존 텍스트 모델의 안전 메커니즘을 이미지·비디오에 재사용할 수 있다는 점이 멀티모달 AI 안전성 구축의 비용과 윤리적 부담을 획기적으로 줄인다.
핵심 요약
- 멀티모달 대형 언어 모델(MLLM)의 안전성 강화는 이미지·비디오 등 각 형식별로 새로운 안전 데이터를 수집해야 했고, 수집·배포 과정에서 윤리·법적 문제가 발생했다.
- 연구팀은 텍스트 LLM에서 추출한 '거부 방향(refusal directions)'이 이미지, 비디오 등 다른 모달리티에도 적용 가능한지 검증했고, 레이어 선택·조종 강도·크로스모달 정렬에 따라 효과가 달라짐을 확인했다.
- MARS(Modality-Agnostic Refusal Steering)라는 학습 없이 작동하는 경량 방식을 제안했으며, 활성화 중심화로 모달리티 불일치를 바로잡고 기하학적 신뢰 영역 내에서 조종 강도를 적응적으로 조절한다.