도시 전체 3D 장면에서 물체를 찾는 AI 에이전트 'Urbex' 공개

핵심 요약

• 도시 규모 3D 씬에서 건물이나 랜드마크 같은 공간 요소를 찾는 문제를 새롭게 정의했다.
• 기존 방식은 미리 계산한 후보 상자들을 순위매기는 방식이었는데, 대규모 실외 장면에서 비효율적이었다.
• Urbex는 비전-언어 모델 에이전트가 인터랙티브하게 탐색하도록 설계했다.
• 에이전트는 랜드마크를 질문하고, 특정 영역으로 줌인하며, 기울어진 각도의 뷰를 렌더링하고, 최종 바운딩박스를 결정할 수 있다.
• 강화학습으로 이 도구 사용 정책을 최적화했으며, 부드러운 위치 파악 보상과 경량 형성 보상으로 효율적인 탐색을 유도했다.
• CityRefer 데이터셋에서 Hit@1과 IoU 지표 모두 최고 성능을 달성했으며, 미리 계산한 후보 상자 없이도 동작한다.
• 가장 강력한 도시 규모 기준선 대비 상당히 빠른 속도를 보였다.
• STPLS3D-Refer에서 제로샷 평가 결과 다른 장면으로의 일반화 능력도 향상되었음을 확인했다.