AI 세계 모델의 신뢰성을 평가하는 벤치마크 공개
원제 HappyWorld-Bench
추천 41댓글 3
Key Point
세계 모델이 상호작용과 수정에 얼마나 잘 반응하고 신뢰성을 유지하는지 평가하는 새로운 기준이 필요한 상황에서, 이 벤치마크는 비디오·공간·구현형 모델 전반의 약점을 구체적으로 드러낸다.
핵심 요약
- Hugging Face 연구팀이 생성형 AI의 세계 모델(world model)을 평가하는 종합 벤치마크 'HappyWorld-Bench'를 발표했다.
- 벤치마크는 생성 구성부터 통합 세계 모델링까지 6단계의 계층적 능력 프레임워크(W1-W6)를 기반으로 설계되었다.
- 비디오 세계 모델(1,138개 프롬프트), 공간 세계 모델(300개 장면), 구현형 세계 모델(254개 테스트 케이스) 등 세 가지 독립적 평가 트랙으로 구성된다.
- 인간 A/B 비교를 통한 Elo 등급과 행동 정확성을 측정하는 자동화된 평가 지표를 함께 활용한다.
- 비디오 모델 14개, 공간 시스템 9개, 구현형 모델 8개를 통합 프레임워크 아래에서 평가했다.
- 비디오 모델은 장시간 실행과 재방문 시 일관성이 떨어지고, 공간 모델은 최대 70.14%의 배치 정확도와 73.33%의 편집 실행 정확도를 달성했다.
- 구현형 모델은 다단계 행동 시 상태 유지와 변경된 행동 조건·물리 규칙에 대한 정확한 응답에서 어려움을 보였다.
- 연구팀은 세계 모델을 시각적 품질뿐 아니라 상태 일관성과 행동·개입에 대한 정확한 응답 능력으로도 평가해야 함을 강조한다.