LLM이 3D 로봇 부품 설계 자동화, 불완전한 모델도 복원
원제 USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation
추천 18댓글 2
Key Point
불완전하거나 손상된 3D 모델에서도 로봇 시뮬레이션용 정확한 관절 정보를 자동으로 복원할 수 있어, 현실의 다양한 물체로 로봇 학습을 확장하는 병목이 해결된다.
핵심 요약
- 시뮬레이션에서 학습한 로봇 조작 정책을 현실 물체에 적용하려면 기하학적으로 정확한 관절형 3D 자산이 필수인데, 기존 메시 기반 방법은 학습 데이터 분포 밖의 물체나 손상된 메시에서 관절 정보 추론에 실패하곤 한다.
- USDCraft는 사전학습된 LLM이 부분적 기하 정보를 바탕으로 시뮬레이션 준비가 된 관절형 자산을 위한 프로그램을 작성·수정하도록 하는 프레임워크로, 작업별 파인튜닝이 필요 없다.
- 기하 소스 분석으로 메시를 관찰된 표면과 미지 공간을 구분하는 텍스트 설명으로 변환하고, 반복적 기하 재검증으로 각 프로그램 후보를 같은 형식으로 재인코딩해 불일치 지점을 찾아낸다.
- 시각 피드백과 물리 특성 설정을 통해 Isaac Sim에서 별도 조정 없이 로드할 수 있는 USD 형식의 관절형 자산을 생성한다.
- 두 개의 벤치마크에서 관절 복원 정확도를 달성했으며, 실제 로봇을 시뮬레이션으로 학습한 뒤 다시 현실에 적용하는 실리콘-시뮬-현실 조작 작업에서의 효과를 검증했다.