손 움직임으로 비디오 세상을 조종하는 AI 모델
원제 LynnReal-Hand: Unlocking World Interaction with Hand Control
추천 22댓글 3
Key Point
손 제어라는 더 직관적인 인터페이스로 비디오 월드 모델을 확장한 기술로, 실시간 성능까지 달성해 향후 가상환경 상호작용의 새로운 표준이 될 수 있다.
핵심 요약
- 텍스트나 카메라로만 조종하던 기존 비디오 월드 모델을 넘어, 손 움직임을 직접 입력받아 현실감 있게 반응하는 LynnReal-Hand를 개발했다.
- 다양한 실제 환경과 가상 환경을 담은 100K개의 손-물체 상호작용 클립을 수집하고, 손 인식 감시 기법으로 미세한 손 동작과 물체 상호작용을 개선했다.
- 인과 흐름 맵을 학습해 소수 단계만에 생성하고, 비디오와 이미지 모델을 조합한 영역별 스코어 증류로 상호작용 역학과 시각 품질을 정제했다.
- 디코딩 비용을 크게 줄이기 위해 Ultra-Fast-VAE라는 경량 비디오 디코더를 개발해 높은 재구성 충실도를 유지하면서도 계산량을 감소시켰다.
- 핸드벤치 평가에서 기존 방식 대비 우수한 손 따라가기 정확도와 영상 품질을 보였으며, 풀 시퀀스 모델의 FVD는 181.67, MANO Dice 점수는 93.02를 기록했다.
- 3단계 인과 모델은 MANO Dice 점수 92.49를 유지하면서도 추론 속도를 높였고, 단일 H200 GPU에서 540p 스트리밍 시 초당 18.03프레임, 741ms 지연, 34.89GB 최대 메모리로 실시간 상호작용을 가능하게 했다.
- 논문 저자들은 데이터셋, 모델 가중치, 훈련 및 추론 코드 전체를 공개할 계획이다.