3D 공간 이해 AI, 코딩 에이전트로 대폭 강화
원제 S-Agent 2.0: Spatial Reasoning with a General Coding Agent
추천 104댓글 2
Key Point
3D 공간 추론 작업에서 도구가 제공한 정보를 모델이 제대로 해석하지 못하는 근본적인 문제를 기존 방식보다 더 효과적으로 해결하는 접근법을 제시한다.
핵심 요약
- 3D 공간에서 객체의 위치와 관계, 움직임을 파악하는 공간 추론 작업에서 비전-언어 모델의 성능을 높이기 위해 S-Agent 2.0을 개발했다.
- 기존 접근은 도구가 올바른 정보를 제공해도 모델이 최종 답을 내지 못하는 '증거 해석 간극'이 문제였다.
- S-Agent 2.0은 범용 코딩 에이전트에 명령줄 기반 3D 지각 도구 세트를 통합했으며, 장면 정보 수집 → 기억 저장 → 공간 언어로 해석하는 단계를 거친다.
- Qwen 27B 백본에서 MMSI-Bench +13.9점, ReVSI +20.5점 향상, Gemini 3.8-Flash에서는 각각 +11.2점, +9.6점 향상을 달성했다.
- 오픈소스 백본으로 MMSI-Bench 66.5, ReVSI 82.3 성능에 도달해 같은 백본의 전문화된 시스템 SpatialClaw(62.6, 74.5)를 상회한다.
- 닫힌소스 Gemini 3.8-Flash 사용 시 74.1과 90.5에 도달했으며, SpatialClaw의 74.1, 90.5와 비교해 ReVSI에서 일관되게 성능 향상이 유지된다.
- 더 강력한 백본을 사용할수록 도구의 성능 개선폭이 줄어들지만, S-Agent 2.0의 개선폭이 SpatialClaw보다 덜 감소한다.
- Codex, Claude Code 등 다양한 범용 코딩 에이전트 플랫폼에서 작동한다.