LLM 에이전트의 물리적 자기개선, 어떻게 가능할까
원제 Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy
추천 17댓글 2
Key Point
로봇 조작 같은 물리적 환경에서 LLM 에이전트가 스스로 개선되는 원리를 정량 분석해, 대규모 언어 모델의 실제 강화학습 적용 가능성을 예측할 수 있는 기초를 제공한다.
핵심 요약
- LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다.
- PhysRSI-eval이라는 평가 지표를 도입해 5개 축(첫 시도 성능, 효율성, 성공률, 예산, 실패 후 개선)으로 물리적 RSI를 정량화했다.
- 18개 로봇 조작 작업에서 다양한 VLM(시각 언어 모델)을 같은 상호작용 예산 내에서 평가했으며, 공개 벤치마크 점수가 비슷해도 개선 양상은 크게 다를 수 있음을 확인했다.
- 물리적 배럴 가설을 제시했다: 서로 다른 역량이 개선의 다른 부분을 제약한다.
- VLM의 공개 성능으로부터 물리적 태스크에서의 상대 성능을 예측하고, 초기 피드백으로부터 이후 진전을 예측하는 확장 법칙(scaling law)을 도출했다.
- 워크스페이스 개입 실험을 통해 개선이 어떤 요소를 남기는지 분석했다: 상호작용 기록을 제거하면 후반부 성공률이 감소하고, 고정된 워크스페이스는 미학습 레이아웃에도 유용하며, 일부 크로스태스크 경우는 더 빨리 성공한다.
- 결과는 장면별 적응과 재사용 가능한 경험이 공존할 수 있음을 시사한다.