멀티모달 AI, 이미지와 텍스트에 동일한 제어벡터 공유
Key Point
멀티모달 AI의 내부 구조에서 이미지와 텍스트가 공유하는 통일된 개념 표현을 직접 입증해, 모델 해석 가능성과 제어 기술의 새로운 방향을 보여준다.
핵심 요약
- 통합 멀티모달 모델에서 텍스트 생성을 제어하는 벡터가 이미지 생성에도 제로샷으로 전이되는지를 연구한 논문이다.
- 감정, 물체 크기 등 다양한 개념의 제어벡터를 찾아 다른 모달리티로 전이시켰으며, 텍스트→이미지, 이미지→텍스트 양방향 모두에서 성공적으로 작동했다.
- 텍스트에만 고유한 개념(정중한 vs 구어체 표현)도 이미지에선 정중한 옷차림·디자인처럼 일관된 효과를 나타냈다.