작은 모델도 빠른 추론 가능, 선택 기반 구조화 추론 등장

핵심 요약

• 멀티모달 에이전트는 각 행동 전에 자유형식 추론을 생성하는데, 작은 모델은 제한된 용량으로 인해 실질적 도움이 적으면서도 추론 비용이 높다.
• 이를 해결하기 위해 선택 기반 구조화 추론(SSR)을 제안했다. 추론을 개방형 생성 대신 선택 문제로 재정의한다.
• SSR은 반복되는 고수준 추론을 미리 정의된 재사용 가능한 자연언어 후보로 표현한다.
• 각 턴에서 모델은 현재 맥락을 기반으로 후보들의 확률값을 비교해 최적 추론을 선택하며, 별도의 보조 태스크 헤드가 필요 없다.
• 미리 정의된 추론 과정은 병렬 처리를 가능케 하며, 교사 강제 프리필링으로 공유된 KV 캐시를 통해 후보들의 토큰 확률을 동시에 계산할 수 있다.
• 2B와 4B 모델을 7개 멀티모달 검색 벤치마크에서 평가했다.
• 강화학습과 지도 학습 모두에서 SSR은 작업 성능 손실 없이 현저한 효율 개선을 달성했다.
• 같은 규모 주도 에이전트와 경쟁 수준의 평균 성공률을 유지하면서, 턴당 추론 지연시간을 90% 이상 감소시키고 질문당 전체 추론 지연시간을 28-54% 단축했다.