긴 작업의 진행률을 아는 게 왜 이렇게 어려울까
원제 ProgressCompass: Embodied Progress Reward Models Are Lost Without the Right Context
추천 11댓글 2
Key Point
로봇 작업 완수 시 진행 상황을 정확히 추적하는 것이 단순히 현재 상황만으로는 불가능하다는 근본적인 문제를 드러내고, 범용 모델 활용으로 기존 시스템을 개선할 수 있는 실질적 해법을 제시하기 때문이다.
핵심 요약
- 로봇 같은 embodied agent가 장기 작업을 수행할 때, 현재 프레임만으로는 얼마나 진행했는지 판단하기 어렵다는 문제를 '문맥 의존적 진행률 추정'으로 정의했다.
- 기존 Progress Reward Models(PRMs)는 각 단계에서 작업 진행도를 점수화하는데, 장기 작업에서는 이전에 일어난 일들의 맥락이 필요하지만 대부분 현재 관찰만으로 작동한다.
- 연구팀이 24개 조작 작업 120 에피소드로 구성한 ContextProgress-Bench를 구축했으며, 상태 재호출(이전 정보가 현재 프레임에 없음), 순서 추적(단계들이 정해진 순서대로 진행), 반복 구분(비슷한 프레임이 다른 진행 단계에 나타남) 등 3가지 시나리오를 다룬다.
- 진단 실험에서 기존 PRM들은 전체 이력을 입력받아도 진행률 추정에서 길을 잃었지만, 적절한 맥락 정보를 프롬프트에 통합하면 같은 5개 모델이 오류를 77-82% 감소시켰다.
- 연구팀은 ProgressCompass라는 자율 에이전트 루프를 제안했으며, 이는 기존 PRM을 재정향하고 현재의 범용 VLM을 활용해 필요한 맥락을 공급한다.
- ProgressCompass로 감싼 같은 고정된 PRM은 진행률 오류를 63% 감소시켰고 순위 일치율을 76% 높였으며, 더 길고 복잡한 작업에서 진행률 추정 성능이 크게 향상된다.