영상과 3D 모션을 동시에 만드는 AI 모델

핵심 요약

• 기존 영상 생성 AI는 픽셀 단위 동작만 만들었지만, 3D 자산을 애니메이션할 수 있는 실제 3D 모션은 반환하지 못했다.
• 이 논문은 텍스트로부터 영상과 3D 모션을 함께 만드는 모델을 제시하며, 임의의 스켈레톤(뼈대)를 지원하고 카메라 위치도 함께 복원한다.
• 기존 방식은 인간 스켈레톤만 처리하거나 매개변수가 수십억 개인 반면, 이 모델은 3D 모션을 별도로 처리하고 미니 크로스 어텐션 레이어로 사전학습된 영상 모델과 연결해 효율성을 높였다.
• 모션 모델은 비디오 없이 모션 데이터만으로 먼저 학습하는데, 이는 쌍을 맞춘 데이터를 수집하고 증강하기가 더 쉽다.
• 영상 프레임에서 각 관절의 위치를 파악해 카메라를 복원하고 3D 모션을 장면에 배치하는 방식으로 장면과의 일관성을 유지한다.
• 다양한 스켈레톤으로 학습하기 위해 생성형 영상 편집기로 애니메이션된 3D 자산을 적절한 장면에 배치해 약 20만 개의 학습 쌍을 만들었다.
• 평가 결과 이 모델은 텍스트로부터 다양한 리그(캐릭터 골격)를 영상 우선 파이프라인보다 더 충실하게 애니메이션화하며, 주변 장면에 반응하는 모션을 생성한다.
• 영상을 3D 모션으로, 3D 모션을 영상으로 변환할 수 있으며, 키프레임 기반 3D 모션 제어도 지원한다.