만화를 영상으로 충실히 변환하는 AI 에이전트 시스템
원제 Manga2Animate: An Agentic Framework for Faithful Manga Animation with Script and Storyboard Planning
추천 26댓글 2
Key Point
만화의 스토리, 캐릭터, 미술 스타일을 모두 보존하면서 자동으로 애니메이션화하는 기술로, 만화 산업에 실질적으로 적용할 수 있는 접근 방식을 제시한다.
핵심 요약
- 만화를 원본 내용에 충실한 애니메이션으로 변환하는 멀티에이전트 프레임워크 Manga2Animate를 제안했다.
- 기존 방식은 만화를 텍스트로만 해석해 캐릭터와 미술 스타일을 잃거나, 페이지를 직접 영상생성 모델에 넣어 구성을 오해하고 잘못된 스토리를 만드는 문제가 있었다.
- 이 프레임워크는 생성 과정의 모든 단계를 원본 만화에 근거하며, 작업을 두 가지 중간 단계인 애니메이션 스크립트와 시각적 스토리보드로 분해한다.
- 각 표현은 크리에이터 에이전트가 생성하고, 페어드 리뷰어 에이전트가 원본 패널과 대조해 검토한다.
- 표현별 선택과 이중 레벨 피드백을 적용해 두 표현을 점진적으로 개선한 후 최종 애니메이션을 합성한다.
- 광범위한 실험과 사용자 연구에서 Manga2Animate가 기존 최고 성능 방식보다 원본 만화에 더 충실하고 장면 간 일관성이 높은 애니메이션을 생성함을 보였다.