멀티모달 에이전트, 로봇 제어로 확장할 때 뭐가 달라지나
원제 Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
추천 22댓글 2
Key Point
컴퓨터 조작 AI와 로봇 제어의 근본적 차이를 정의하고, 로봇 에이전트 개발 시 현재 벤치마크가 놓친 부분을 지적해 향후 평가 방식 개선의 방향을 제시한다.
핵심 요약
- 멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다.
- 멀티모달 임보디드 에이전트(MMEA)를 정의하면, 멀티모달 작업 추론을 물리 동작과 결합하고 그 결과 피드백으로 결정을 수정하는 목표 지향 시스템이다.
- 논문은 PAPAV라는 통합 프레임워크를 제시하며, 인식(Perceive)·예측(Anticipate)·계획(Plan)·행동(Act)·검증(Verify)의 5가지 반복 기능으로 세 시스템을 비교한다.
- 물리 제약이 5가지 있는데, 부분 관찰성부터 검증 불가능한 결과까지 사전에 정해진 선택지를 줄이고 오류 되돌리기 여지를 제한한다.
- 64개 벤치마크 평가를 보면, 행동(Act) 능력만 명시적으로 측정되고 예측은 5개, 검증은 3개 벤치마크만 포함해 두 능력이 작업 성공 뒤에 가려져 있다.
- PAPAV는 작업 성공만이 아닌 5가지 능력 모두를 중심으로 신뢰할 수 있는 물리 에이전트를 설계하고 진전을 측정하는 공통 기준을 제공한다.