카메라 기하학 정보로 로봇 비전-언어 모델의 다중 카메라 성능 향상

핵심 요약

• Vision-language-action(VLA) 모델은 로봇 조작에 의미론적 지식을 제공하지만, 시각 표현이 2D 이미지 좌표에 기반해 다중 카메라 시스템의 기하학적 관계를 활용하지 못한다.
• G³VLA는 카메라 내부 파라미터와 외부 파라미터를 이용한 기하학적 모듈로, 사전학습된 VLA의 시각 토큰 스트림에 보정된 카메라 구조를 주입한다.
• 내부 파라미터 조건 광선 임베딩(ray embedding), 투영 위치 인코딩(PRoPE), 양방향 교차 뷰 융합을 결합해 카메라 뷰 간 기하학적으로 일관된 표현을 구축한다.
• 깊이 센서나 수동 주석 없이 지면 실측 점 맵이나 신뢰도 게이트된 선생님 예측으로 기하학 감독을 제공할 수 있다.
• π₀에서 G³VLA는 LIBERO와 RoboCasa24에서 두 가지 감독 방식 모두 성능이 개선되었으며, 지면 실측 감독은 세 대 카메라로 RoboTwin2.0의 다섯 과제 평균을 향상시킨다.
• 카메라 뷰포인트 변화에 대한 실험에서 보이지 않은 카메라 각도로의 견고성이 높아졌다.
• 보정 오류 연구에서 성능 향상이 정확한 카메라 기하학 정보에 의존하며, 경미한 보정 오차에는 안정적임을 확인했다.
• 보정된 카메라 기하학에 기반한 VLA 시각 토큰은 기존 로봇 정책의 기하학적 일관성, 다중 뷰 추론, 뷰포인트 견고성을 개선하는 단순하고 범용적인 메커니즘을 제공한다.