AR·VR용 입체 음성 생성, 화면 움직임과 동기화
Key Point
AR·VR과 게임 등 몰입형 미디어에서 필수인 입체 음성을 화면 움직임과 동기화하는 기술 공백을 처음 정의하고 해결했으며, 평가 기준도 함께 제시했다.
핵심 요약
- 기존 영상-음성 생성 모델은 의미 대응과 시간 동기화는 잘했지만, AR/VR·인터랙티브 게임에 필요한 입체 음성 생성은 미흡했다.
- 입체 음성은 음원이 인지되는 방향이 화면 속 음원의 움직임과 일치해야 하는데, 이를 '동적 공간 대응'이라고 정의했다.
- StereoBind는 모션 트랙을 활용해 시각적 움직임과 입체 음성을 연계하는 프레임워크로, 시각 움직임 바인딩·공간 트랙 인코더·상대 움직임 모델링 세 가지 메커니즘을 사용한다.