Hugging Face 논문AI · 머신러닝

로봇 조작 모델, 미래 영상으로 자신의 행동 개선하다

원제 HINT-WAM: Hindsight-Informed Training for World Action Models

추천 22댓글 3Phuong Tuan Dat, Qi Li, Xinchao Wang
Key Point

로봇 조작 모델이 실제 작업 수행 성능을 높이는 새로운 훈련 방식을 제시해, 오프라인과 온라인 학습 방법의 한계를 해결하는 접근이다.

핵심 요약

  • 월드 액션 모델(WAM)은 행동 생성과 미래 시각 역학 예측을 결합해 로봇 조작의 일반화와 데이터 효율성을 보였으나, 신뢰할 만한 작업 실행으로의 전환이 과제였다.
  • 기존 오프라인 미세 조정은 전문가 궤적에 밀집된 감독을 제공하지만, 행동 전문가는 잡음이 있는 시연 행동에만 훈련되고 자신의 샘플러가 생성한 중간 상태에는 훈련되지 않는다.
  • 정책 내 강화학습은 정책 자신의 행동으로 훈련되지만, 희소한 작업 보상으로 탐색과 신용 배치가 어렵고, 밀집된 보상 조형도 직접 행동 목표 대신 스칼라 평가만 제공한다.
  • HINT-WAM은 최초의 정책 내 자기 증류 프레임워크로, 행동 전문가를 미래 영상(시연의 힌드사이트)이라는 특권 정보를 조건으로 한 자신의 샘플링 궤적에서 감독한다.
  • 각 시연 관찰에 대해 학생 모델이 자신의 노이징 제거 궤적으로 행동을 생성하고, 그 궤적의 상태에서 같은 모델이 힌드사이트를 추가 조건으로 교사 역할을 하며 조건부 행동 분포를 밀집된 훈련 목표로 제공한다.
  • 학생은 배포 시점의 입력만 보고 환경 보상이나 시뮬레이터 상호작용이 필요 없다.
  • 플로우 매칭 행동 전문가로 감독을 전달하기 위해, HINT-WAM은 에너지 스코어로 교사를 학생에게 증류하는데, 이는 교사의 속도 필드를 회귀하는 대신 학생 자신의 샘플에서 교사의 행동 분포를 맞추는 분포 수준의 목적함수다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗