로봇 조작 모델, 미래 영상으로 자신의 행동 개선하다
원제 HINT-WAM: Hindsight-Informed Training for World Action Models
추천 22댓글 3
Key Point
로봇 조작 모델이 실제 작업 수행 성능을 높이는 새로운 훈련 방식을 제시해, 오프라인과 온라인 학습 방법의 한계를 해결하는 접근이다.
핵심 요약
- 월드 액션 모델(WAM)은 행동 생성과 미래 시각 역학 예측을 결합해 로봇 조작의 일반화와 데이터 효율성을 보였으나, 신뢰할 만한 작업 실행으로의 전환이 과제였다.
- 기존 오프라인 미세 조정은 전문가 궤적에 밀집된 감독을 제공하지만, 행동 전문가는 잡음이 있는 시연 행동에만 훈련되고 자신의 샘플러가 생성한 중간 상태에는 훈련되지 않는다.
- 정책 내 강화학습은 정책 자신의 행동으로 훈련되지만, 희소한 작업 보상으로 탐색과 신용 배치가 어렵고, 밀집된 보상 조형도 직접 행동 목표 대신 스칼라 평가만 제공한다.
- HINT-WAM은 최초의 정책 내 자기 증류 프레임워크로, 행동 전문가를 미래 영상(시연의 힌드사이트)이라는 특권 정보를 조건으로 한 자신의 샘플링 궤적에서 감독한다.
- 각 시연 관찰에 대해 학생 모델이 자신의 노이징 제거 궤적으로 행동을 생성하고, 그 궤적의 상태에서 같은 모델이 힌드사이트를 추가 조건으로 교사 역할을 하며 조건부 행동 분포를 밀집된 훈련 목표로 제공한다.
- 학생은 배포 시점의 입력만 보고 환경 보상이나 시뮬레이터 상호작용이 필요 없다.
- 플로우 매칭 행동 전문가로 감독을 전달하기 위해, HINT-WAM은 에너지 스코어로 교사를 학생에게 증류하는데, 이는 교사의 속도 필드를 회귀하는 대신 학생 자신의 샘플에서 교사의 행동 분포를 맞추는 분포 수준의 목적함수다.