로봇·자율주행용 '공간 인지' 기초 모델 GroundingPI 공개
원제 GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives
추천 261댓글 2
Key Point
로봇 팔과 자율주행 자동차가 정확하고 빠르게 물체를 인식해야 하는데, 기존 범용 시각 모델 대신 공간 좌표 인식에 특화한 기초 모델을 쓰면 성능이 크게 오른다는 실증적 결과를 제시한다.
핵심 요약
- Hugging Face와 arXiv의 공동 발표로, GroundingPI라는 40억 개 파라미터 크기의 기초 모델을 소개한다.
- 이 모델은 점과 박스 형태의 정량화된 좌표를 공유 어휘로 생성해, 혼잡한 환경과 작은 물체의 위치 파악을 빠르게 수행한다.
- 다중모달·공간 사전학습, 지도학습, GRPO 강화학습을 결합해 학습하며, 공개 데이터셋과 자체 데이터 엔진의 감시 신호를 활용했다.
- 34개 그라운딩 벤치마크 11개 시각 능력에 대해 44개 기준 모델을 비교한 결과, 평균 73.68% 정확도로 더 큰 GPT-6 Astra(71.54%)를 능가했다.
- RoboTwin 2.0 로봇 조작 벤치마크에서 분포 이탈 환경 4곳 모두에서 최강 백본 대비 최대 24.8% 상대 성능 향상을 달성했다.
- RoboCasa-GR1에서는 데이터 50%만으로도 기준 모델의 75% 데이터 학습 성능을 뛰어넘었다.
- 자율주행 벤치마크 nuScenes에서 평균 개루프 L2 오차 0.296 m을 기록했다.
- 사전학습 규모와 데이터 구성에 대한 체계적 분석에서, 데이터 규모 증가가 자율주행·로봇 조작 성능을 모두 높이며, 밀집 그라운딩과 OCR 기능이 시각 학습의 핵심 요소임을 확인했다.