공간 인식 AI, 다중 질문 형식을 동시에 학습하는 기법 제시
원제 ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence
추천 417댓글 2
Key Point
공간 인식 AI가 여러 형식의 질문을 동시에 잘 답하기 위한 학습 구조를 제시해 멀티태스크 비전언어모델의 효율성을 크게 높일 수 있는 실마리를 제공한다.
핵심 요약
- 공간 비전언어모델(VLM)을 단일 형식으로 학습하면 한 종류의 질문(예: 사물의 위치)에만 성능이 높고 다른 형식(거리 추정)으로의 전이가 약해지는 '인터페이스 락-인' 현상이 발생한다.
- ChronoReplay는 다양한 공간 감독을 시간 순서대로 에피소드 형태로 반복 재생하고 각 형식의 원본 목표를 유지하면서 감독 신호를 균형 있게 분배하는 방식으로 이 문제를 해결한다.
- 동일한 시각 정보 접근 조건에서 ChronoReplay 체크포인트는 OVO-S-Bench, OST-Bench, UCS-Bench 세 벤치마크를 동시에 개선하며, 특히 OST-Bench에서 13.41포인트 향상을 달성했다.
- 실험 결과 시간 순서 에피소드 재생이 무작위 순서 대조군보다 약 2.41포인트의 OST 성능 이득을 가져왔으며, 답변 직렬화와 균형 조정이 일반적 공동 학습보다 우수함을 확인했다.
- 추가적으로 추론 시점에 적응형 프레임 선택을 통해 시각 비용을 낮추면서도 추가 성능 이득을 얻을 수 있다.
- 결론적으로 스트리밍 공간 성능은 감독 신호가 어떤 공간 구분을 보존하는지, 학습 중 이질적 역사를 어떻게 조직하는지, 추론 시점에 어떤 인과적 증거를 활용할 수 있는지에 따라 결정된다.