물리 법칙 지키는 비디오 생성 AI, 언어로 학습 시키다
원제 Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model
추천 10댓글 0
Key Point
물리 법칙을 지키는 비디오 생성이 멀티모달 AI의 핵심 과제인데, 순수 언어 표현만으로 상용 모델 수준의 성능을 달성했다는 점이 경향을 바꾼다.
핵심 요약
- 비디오 월드 모델들이 물리적으로 타당한 영상을 생성하지 못하는 문제를 언어 기반으로 해결하는 Physis-Lang을 제시했다.
- 물리 현상을 관련 개체, 원인, 상호작용, 지배 원리, 시간 진화, 영향 등을 언어로 표현하여 학습한다.
- PhysCapBench를 구축하여 물리 설명을 원자 단위 명제로 분해하고 재현율과 정확도로 평가한다.
- 에이전트 루프가 명제 수준의 오류를 반복 분석하고 물리 캡션 생성 지시어를 개선한다.
- 모델의 부족함을 텍스트로 변환하고 언어 기반 검색으로 누락된 물리 현상을 포함한 시각적으로 다양한 비디오를 선별한다.
- Wan과 Cosmos 백본으로 4개 물리 벤치마크에서 일관된 개선을 달성했다.
- 오픈소스 Cosmos3-Nano를 기반으로 한 모델이 상용 Veo 3.1을 초과하는 성능을 보였다.