시각 정보로 깊이 있는 조사를 하는 AI 에이전트 OneSearch-VL
원제 OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
추천 24댓글 2
Key Point
시각 정보를 활용한 복잡한 조사 작업을 자동화하는 에이전트 기술의 새로운 접근법이며, 이미지와 동영상을 다루는 멀티모달 AI의 핵심 과제인 시각적 근거 추적을 해결했다.
핵심 요약
- 이미지·동영상 등 다양한 시각 자료를 사용한 깊이 있는 조사 작업을 통합으로 처리하는 멀티모달 AI 에이전트 OneSearch-VL을 발표했다.
- 시각적 위치 파악, 외부 검색, 사실 종합이라는 공통 워크플로우를 따르지만, 단일 이미지·다중 이미지·동영상마다 다른 시각 연산이 필요한 문제를 해결한다.
- 핵심은 시각적으로 위치를 파악한 근거 그래프(VGEG)로, 시각 앵커·개체 관계·출처 기반 사실·연산 작업 간의 의존성을 인코딩해 데이터 구성·과정 감시·연산 평가에 공통으로 쓸 수 있게 했다.
- VGEG 기반 데이터 엔진으로 다중 이미지와 동영상 질문을 구성·검증하고 전문가 행동 궤적을 필터링한 뒤, SFT용 110K·RL용 10K 데이터셋 두 개를 만들었다.
- RL 과정에서는 VGEG 주석으로부터 파생된 근거 인식 시각 위치 기반 루브릭 보상(EVGR)으로 근거 추적성과 시각 위치 파악을 감시한다.
- OneSearch-MI-Bench·OneSearch-Video-Bench 두 벤치마크는 VGEG에 인코딩된 조사 연산별로 질문을 분류해 세밀한 평가를 가능하게 한다.
- OneSearch-VL-8B는 도구 접근 권한이 있는 Qwen3-VL-8B 대비 새로운 벤치마크 두 개에서 각각 20.2%포인트와 17.6%포인트 개선했으며, 7개 이미지 벤치마크와 VideoDR에서도 상당한 성능 향상을 달성했다.