이미지 생성으로 추론하기, 멀티모달 LLM 성능 25% 향상
원제 Reasoning with Image Generation
추천 14댓글 2
Key Point
이미지 생성을 추론 도구로 활용해 멀티모달 LLM 성능을 크게 개선하는 방식을 제시하며, 비전 작업의 새로운 접근법을 보여준다.
핵심 요약
- Chain-of-thought 추론은 LLM이 문제를 중간 단계로 분해해 답하도록 하며 자연어 처리를 혁신했지만, 시각 표현의 직접 조작이 필요한 작업에서는 한계를 보인다.
- 기존 멀티모달 LLM은 깊이 추정·객체 탐지 같은 고정된 좁은 기능의 외부 시각 도구에 의존하며, 이들은 유연하게 시각 콘텐츠를 생성하거나 변환할 수 없다.
- 연구팀이 제안한 ReImaGin은 이미지 생성 모델을 멀티모달 LLM의 유연한 시각 추론 메커니즘으로 활용하는데, 고정 기능 도구와 달리 자연어 명령을 받아 오클루전 제거나 여러 시점에서 실내 평면도 생성 등 개방형 시각 작업을 수행한다.
- 6가지 다양한 시각 추론 작업(다중 시점 공간 추론, 충돌 예측 포함)에서 ReImaGin은 텍스트 전용 추론과 전문 시각 도구 기반 모두를 능가하며 최대 25%의 성능 향상을 달성했다.