작은 모델도 빠른 추론 가능, 선택 기반 구조화 추론 등장
Key Point
2B~4B 같은 경량 모델에서 추론 속도를 90% 단축하면서도 성능을 유지하는 방식이 나왔으므로, 리소스 제약이 있는 환경에서 멀티모달 에이전트를 활용할 수 있게 된다.
핵심 요약
- 멀티모달 에이전트는 각 행동 전에 자유형식 추론을 생성하는데, 작은 모델은 제한된 용량으로 인해 실질적 도움이 적으면서도 추론 비용이 높다.
- 이를 해결하기 위해 선택 기반 구조화 추론(SSR)을 제안했다. 추론을 개방형 생성 대신 선택 문제로 재정의한다.
- SSR은 반복되는 고수준 추론을 미리 정의된 재사용 가능한 자연언어 후보로 표현한다.