AI 모델의 미래 세계 예측 능력 벤치마크 'WorldCast' 공개

핵심 요약

• 인간처럼 시각·음성·텍스트 등 다양한 정보를 해석하고 세상의 미래 변화를 예측하는 능력이 최근 생성 AI 모델에서 나타나고 있다.
• 연구팀이 이러한 능력을 4단계 계층으로 분류했으나 고수준 작업들은 아직 충분히 연구되지 않은 상태다.
• 이를 해결하기 위해 WorldCast 벤치마크를 개발했으며, 이는 8개 카테고리의 320개 수작업 사례로 구성되고 12개 대표 모델을 평가한다.
• 다중 단계 세계 상태 예측 작업은 모델이 다양한 참고 자료로부터 연속적인 미래 상태를 예측하도록 요구하며, 이를 위해 깊은 이해·생성 능력과 광범위한 세계 지식이 필요하다.
• GPT-Image-2.5 System은 72.8점으로 가장 높은 점수를 기록했으며 실제 작업에서 초기 수준의 시각 상태 예측 능력을 보였다.
• Nano Banana Pro는 42.8점, 최고 성능의 오픈소스 모델은 20.1점으로 평가되었으며, 복잡한 맥락·얽힌 참고 자료·추론 집약적 작업에서 상당한 격차가 드러났다.
• 강력한 생성 모델들은 기반이 되는 언어 모델의 능력을 효과적으로 활용하는 경향을 보인다.
• 연구는 동적 계획·추론 능력과 함께 실제 세계 상태를 충실히 시뮬레이션할 수 있는 통합된 다중모달 생성 모델 개발의 필요성을 강조한다.