시각-언어 모델의 "의식" 구조 규명, 개념 접근성 분석 도구 개발
원제 Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models
추천 42댓글 2
Key Point
시각-언어 모델의 내부 작동 원리를 뇌의 의식 메커니즘과 연결하여 해석하는 새로운 분석 도구로, 모델의 의미 이해 과정과 정렬 훈련의 구체적 메커니즘을 규명하는 데 도움이 된다.
핵심 요약
- Vision-language models(VLMs)가 시각과 텍스트 정보를 통합하지만 내부 개념 표현은 드러나지 않는 문제를 해결하기 위해 Multimodal Concept Lens(MC-Lens)를 개발했다.
- MC-Lens는 multimodal Jacobian lens로서 뇌의 global workspace theory(GWT)를 모델링하며, 중간 상태를 디코더의 출력 어휘로 정의된 공유 의미 공간에 매핑한다.
- multimodal 개념 정보는 중간 상태에서 읽을 수 있으며, 작업 요구에 따라 선택적으로 접근 가능함을 확인했다.
- 기존 'readout carriers'를 단일 토큰에서 토큰 집합으로 확장하여 개념 정보를 더 잘 포착하고 반사실 실험을 지원한다.
- 반사실 실험을 통해 접근 가능한 개념 정보가 하위 계산과 추론에 참여함을 확인했다.
- VLM 학습 과정을 추적한 J-space 메트릭 두 가지를 개발했으며, 이는 숨은 상태 코사인 유사도보다 교차 모달 개념 정렬 발전을 더 명확하게 나타낸다.
- 신뢰할 수 있는 선택적 접근이 개념 접근성보다 나중에 발달함을 확인했다.
- 서로 다른 VLM 계열과 크기에서도 개념 접근성, 쿼리 종속 선택성, 교차 작업 개입 효과의 공통된 패턴을 발견했다.
- 이 연구는 multimodal 인공 시스템에서 GWT 연구를 위한 실험적 근거를 제공하며, 교차 모달 정렬 개선에 어떻게 활용될 수 있는지 보여준다.