API만 열린 로봇 모델, 접촉력 감지로 조작 능력 70배 향상
원제 ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
추천 42댓글 3
Key Point
접촉력 센싱을 통해 순수 비전 기반의 로봇 제어를 넘어, 실제 조작 작업이 가능한 단계로 도약하는 기술로, 고정된 대형 모델의 활용 범위를 대폭 확장한다.
핵심 요약
- 프론티어 멀티모달 모델은 이미지만으로 로봇을 제어할 수 있지만, 많은 조작 작업에서 필요한 접촉력(contact force)은 이미지에 드러나지 않는 문제가 있다.
- ForceHarness는 파인튜닝이나 학습 데이터 없이 고정된 API 모델이 힘을 활용하도록 하는 하네스(harness) 시스템이다.
- 첫째 과제는 접촉이 API 모델의 응답 속도보다 빠르게 변하므로, 모델 아래에서 독립적으로 힘을 제어하는 자가-종료 프리미티브(self-terminating force primitives)를 구현해 접촉 이벤트에서 반환한다.
- 둘째 과제는 고정 모델이 원본 힘 데이터를 해석할 수 없으므로, 물리 변환 레이어가 각 힘 추적을 불확실성을 포함한 물리량으로 변환해 모델에 제공한다.
- GPT-6 Astra를 사용한 실제 로봇 팔 실험에서 손목 센서 없이도 성공률이 3.3%에서 90.0%로 증가했다.
- 시뮬레이션에서 공개 벤치마크인 ForceBench에서 17.5 포인트, 새로 만든 HiddenPhys 벤치에서 34.3 포인트 향상되었으며, 학습 데이터로 훈련된 정책을 능가하고 손으로 작성한 전문가 제어기와 동등하다.
- 논문은 또한 작은 모델이 원본 힘값보다 물리량을 받을 때 훨씬 더 나은 결정을 내린다는 것을 보였다.