멀티모달 에이전트의 자동 성장 체계 'Trinity' 공개

핵심 요약

• 멀티모달 에이전트의 자동 진화를 위해 환경 생성과 작업 학습을 함께 진행하는 'The Trinity' 프레임워크가 제안되었다.
• 기존 방식은 검증 가능한 환경 구축과 수동 작업 설계에 비용이 많이 드는 문제를 마주했다.
• 핵심 아이디어는 겉모양은 다르지만 같은 능력 요구사항을 가진 작업들을 찾아내 계층적으로 정리하는 것이다.
• Creator, Explorer, Evolver 세 가지 역할이 협력해 원래 작업 구조를 능력 기반 트리로 재구성한다.
• Real2Sim2Real 방식으로 같은 능력군의 작업들로부터 공통 요구사항을 추상화해 검증 가능한 시뮬레이션 환경을 만들고, 원본 작업으로 전이 성능을 평가한다.
• Explorer는 능력 트리를 따라 모듈들을 선택적 상속으로 진화시켜 검증된 업데이트를 누적한다.
• 능력별로 특화된 하네스들의 구성을 선택하는 Capability-Aware Harness Router가 공개 작업 정보를 활용해 최적 모듈을 라우팅한다.
• 28개 훈련 벤치마크에서 평균 성능 34점, 18개 미공개 벤치마크에서 26점 향상되었으며 실제 로봇 작업 2개에서도 검증됐다.