로봇 조작 성공 판정하는 오픈 비전-언어 모델 RoboJev 공개

핵심 요약

• 로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다.
• 작업 지시, 조작 시도의 10개 프레임, 그리고 보조 카메라 최종 프레임을 입력받아 작업 완료 여부를 예측한다.
• JEV-27B-VL을 기반으로 52,598개 에피소드 기록으로 학습했으며, 언어 모델만 rank-32 LoRA 어댑터로 미세조정하고 비전 인코더는 고정했다.
• 연구 데이터에만 적용되는 소스별 KL 페널티를 사용해 예측을 원본 모델에 더 가깝게 유지하며, 캘리브레이션된 투-토큰 리드아웃으로 성공/실패 확률을 한 번의 순전파로 출력한다.
• 같은 로봇(SO-101)의 268개 검증 에피소드에서 95.2% 균형 정확도와 0.993 AUROC를 달성했다.
• 미지의 실험실/로봇으로 수집한 459개 에피소드(AUROC = 0.890)와 커뮤니티 수집 에피소드(정확도 93.3%, 135개)에도 일반화된다.
• H100 GPU 1개에서 에피소드당 0.26초(중앙값, 순차 처리)로 추론되며, GPU 시간당 2.69달러 기준 1,000개 성공 예측당 약 0.19달러의 비용이 든다.
• 추론 코드, 투명한 평가(20,628개 예측, 29개 모델/프로토콜 항목)를 함께 공개해 재현 가능한 벤치마크를 가능하게 했다.
• 주요 API 기반 VLM들과 비교했지만, RoboJev-27B가 더 많은 프레임(주 카메라 10개 vs 4개)을 입력받는 점에서 엄밀한 비교는 아니다.