멀티모달 AI의 계획 문제를 푼 증거 원장 기반 에이전트
Key Point
멀티모달 에이전트의 계획 능력이 성능 제약의 핵심이며, 증거 원장 방식이 기존 대화 기반 접근법의 구체적인 해결책을 제시한다.
핵심 요약
- 비디오, 오디오, 웹페이지, 계산 결과 등 여러 모달리티의 증거를 조합해 질문에 답하는 옴니모달 에이전트는 대화 기록이 쌓이면서 노이즈가 증가하고 후속 결정이 방해받는 문제를 겪는다.
- 실험을 통해 성능 저하의 주요 원인이 지각(perception) 부분이 아니라 계획(planning) 부분임을 확인했다.
- Omni-Decision은 증거 원장(evidence ledger) 기반 계획 방식을 도입해, 누적된 대화 기록 대신 무엇이 확인됐는지, 무엇이 부족한지, 어디서 기록이 충돌하는지를 명시적으로 추적한다.