다중 도구와 메모리로 시각 추론 강화하는 OpenVLHarness
원제 OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory
추천 98댓글 1
Key Point
복잡한 시각 추론 작업을 외부 도구와 메모리 체계로 효율적으로 해결하는 방식이 제시되었고, 여러 MLLM에서 일관된 성능 향상과 비용 절감을 달성해 실무 응용의 가능성을 보여준다.
핵심 요약
- 멀티모달 대규모 언어 모델(MLLM)의 시각 추론 능력은 크게 향상됐으나, 단순히 추론 예산을 늘리는 것만으로는 성능 개선이 제한적임을 22개 벤치마크 통제 연구에서 확인했다.
- OpenVLHarness는 능력 계층과 지속적인 멀티모달 메모리를 중심으로 설계된 멀티모달 추론 프레임워크로, 다양한 외부 도구의 접근성과 해석 가능성을 제공한다.
- 능력 계층은 작업 수준의 도구 인터페이스와 증거 렌더링을 결합해 이질적 백엔드에 일관된 접근을 가능하게 하고, 그 출력을 모델이 읽을 수 있는 형태로 변환한다.
- 지속적인 멀티모달 메모리는 이미지, 구조화된 데이터, 웹 참조를 주소 지정 가능한 아티팩트로 각 쿼리 전체에서 보관한다.
- 코딩 인터페이스는 저장된 데이터 위에서 생성된 프로그램을 실행하며, 여러 도구의 결과를 결합하는 계산을 가능하게 한다.
- 22개 벤치마크에서 8개의 개방형·독점 모델로 평가한 결과, 도구가 없는 기준 대비 평균 9.7~12.6점 향상을 달성했다.
- 구체적으로 Qwen3-VL-8B에서 +11.2점, Kimi K3에서 +9.7점, GPT-6 Astra에서 +9.9점의 성능 개선을 기록했다.
- GPT-6 Luna 중간 추론 수준에서 OpenVLHarness는 Codex 및 Visual Sketchpad의 최대 노력 수준을 7.7~8.5점 초과 달성하면서 토큰 비용은 최대 37% 수준으로 절감했다.