인간의 경험에서 배우는 홀리스틱 세계 이해 시스템
원제 Holi-World: Building Holistic World Intelligence from Human-Ego Experience
추천 155댓글 3
Key Point
인간의 일상 영상에서 자동으로 학습 데이터를 만들어 세계 이해 AI를 훈련하는 새로운 방식을 제시해, 값비싼 수동 주석을 줄이면서 지각 AI의 실용적 확장을 가능하게 한다.
핵심 요약
- 머신러닝 커뮤니티가 인간의 일인칭 시점 영상 데이터를 활용해 세상을 이해하는 방법을 개발하고 있다.
- HOLI-WORLD는 카메라 캡처·세계 표현·자동 데이터 구성·모델 학습·평가를 통합하는 생태계로, 수동 주석 의존성을 줄인다.
- HOLIWORLD-Foundry는 정적·동적 인식을 결합해 장면 구조·물체 상태·상호작용 이력을 자동으로 연결하는 '세계 기록'을 구성한다.
- 약 100개의 자체 수집 장면에서 약 80K개의 QA 쌍을 생성해 HOLIWORLD-VL-4B 모델을 학습시켰다.
- HOLIWORLD-Bench는 비공개 영상에 대한 인간 주석으로 구성되어 주석 품질과 공간·시간 추론 능력을 평가한다.
- ScanNet·ScanNet++·Aria Digital Twin 등 기존 데이터셋과 HOLIWORLD-Bench에서 정적 인식과 동적 추적에 강한 성능을 보였다.
- HOLIWORLD-Data로 학습한 HOLIWORLD-VL-4B는 HOLIWORLD-Bench와 EgoDynamic4D에서 공간·시간 추론 능력이 크게 향상되었다.
- 연속적인 인간 경험의 흐름에서 학습 자료를 확장하고 동적 세계에 대한 기계의 이해를 진전시키는 실용적 토대를 제공한다.