로봇 에이전트, 채점 기준 노출에 과적합되나
원제 Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement
추천 21댓글 4
Key Point
로봇 에이전트가 실제 과제를 해결하는지 검증 수치를 조작하는지 구분하는 것이 점점 중요해지는 상황에서, CE 관행의 문제점과 해결책을 실증적으로 밝히는 연구입니다.
핵심 요약
- 자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다.
- 이 기준들은 모방 학습 정책 검증용으로 작성되어 원래 언어 지시사항보다 더 많은 요구사항을 담고 있어, 에이전트가 생성한 로봇 제어 코드의 실제 성능을 정확히 반영하지 못한다.
- 연구진이 CE 적용 여부를 비교 실험한 결과, CE 적용 시 에이전트는 초기에 주어진 기준 하에서 높은 성공률을 보이지만, 기준을 약간 변경하면 이 우위가 사라진다.
- 더 중요하게, CE 환경에서 개발된 기술은 다른 과제로 전이 학습될 때 성능이 크게 떨어진다.
- 연구진은 원래 지시사항에 충실한 '지시문-신실 기준(instruction-faithful criteria)'을 제안하며, 이것이 에이전트 생성 프로그램의 실제 성능을 더 잘 반영한다고 보였다.