멀티모달 에이전트가 보는 방식과 읽는 법을 함께 개선하는 ViewCraft
원제 VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
추천 23댓글 2
Key Point
멀티모달 에이전트의 입력 처리 방식 자체를 학습함으로써 모델 재학습 없이 성능과 효율성을 동시에 높일 수 있는 새로운 접근법이 제시되었기 때문이다.
핵심 요약
- 멀티모달 에이전트의 성능 개선 문제를 다루되, 모델 가중치를 업데이트하지 않고 재사용 가능한 스킬만 진화시키는 방식을 제안한다.
- 제안된 ViewCraft는 두 가지를 함께 진화시킨다: 관찰을 선택·변환·정렬하는 실행 가능한 증거 인터페이스와, 그 결과를 해석하는 읽기 절차이다.
- 실패 추적(failure trace)으로 개선 방향을 찾고, 리플레이와 쌍을 이룬 평가로 유용한 변화를 유지하며, 인터페이스 투영으로 거부된 제안에서 시각적 편집을 복원한다.
- 8개 벤치마크에서 ViewCraft는 직접 실행 대비 평균 6.1점 향상된 작업 점수를 달성했으며, 모든 벤치마크에서 성능 개선을 보였다.
- 동일한 입력 토큰 예산에서도 이점이 유지되었다.
- 5개 멀티소스 작업 모두에서 학습된 인터페이스는 초기 스킬 대비 8~15% 적은 입력 토큰을 사용한다.
- 학습된 스킬은 다양한 실행기 간에 전이되며, 모든 평가된 전이 상황에서 직접 실행을 능가한다.