멀티모달 AI의 계획 문제를 푼 증거 원장 기반 에이전트

핵심 요약

• 비디오, 오디오, 웹페이지, 계산 결과 등 여러 모달리티의 증거를 조합해 질문에 답하는 옴니모달 에이전트는 대화 기록이 쌓이면서 노이즈가 증가하고 후속 결정이 방해받는 문제를 겪는다.
• 실험을 통해 성능 저하의 주요 원인이 지각(perception) 부분이 아니라 계획(planning) 부분임을 확인했다.
• Omni-Decision은 증거 원장(evidence ledger) 기반 계획 방식을 도입해, 누적된 대화 기록 대신 무엇이 확인됐는지, 무엇이 부족한지, 어디서 기록이 충돌하는지를 명시적으로 추적한다.
• 각 노이즈 관찰을 비평자(critic)가 검토해 사용 가능한 내용만 원장에 전달하고 나머지는 버려서, 계획자가 작은 컨텍스트로 작업할 수 있다.
• 매 스텝마다 상태, 행동, 판정을 기록하고, 이 궤적으로 지도학습과 의사결정 수준의 강화학습을 수행해 계획자를 추가로 개선한다.
• OmniGAIA 벤치마크에서 81.4% 정확도를 달성했으며, Gemini-3.1-Pro 대비 약 43% 수준의 비용으로 질문당 처리 가능하다.
• WorldSense 장시간 비디오 이해 작업에서는 65.0% 정확도로 최고 성능 엔드-투-엔드 모델과 동등한 수준을 기록했다.