GitHub TrendingAI · 머신러닝

andyhuo520/digital-human-koubo

한 장의 사진으로 AI 디지털 휴먼 영상 제작

원제 andyhuo520/digital-human-koubo

스타 1,867TypeScript
Key Point

Claude Code·Codex 같은 에이전트와 직접 통합되는 AI 동영상 자동화 도구로, 유튜브 톱 크리에이터의 편집 기법을 분석한 48개 컴포넌트와 견적 제어 시스템을 갖춘 프로덕션급 워크플로우가 처음 공개됐다.

핵심 요약

  • 한 장의 사진과 한 문장의 대사만으로 립싱크된 AI 디지털 휴먼 톡헤드 영상을 자동으로 생성한다.
  • Grok Video 1.5를 통해 최대 15초 단위 영상 클립을 생성하고, 음성은 별도 처리 후 스펙트럼 매칭으로 통일해 30개 이상의 분리된 클립이 하나의 녹음처럼 들리도록 한다.
  • 유튜브 톱 크리에이터 25명의 영상을 프레임 단위로 분석해 추출한 48개의 패키징 컴포넌트(오프닝, 증거 카드, 주석, 리듬 효과 등)를 제공한다.
  • 5가지 편집 스타일(금융 설명자 스타일 16:9, 인플루언서 톡헤드 9:16, 런칭 분석, 튜토리얼, 멀티호스트)을 AI가 자동으로 진단해 추천한다.
  • 프롬프트로 텍스트 오버레이 배치, 다국어 자막, 자동 커버 생성 등을 제어하며, 모든 생성 단계 전에 크레딧 견적을 보여주고 사용자 승인을 기다린다.
  • Whisper로 각 세그먼트를 자동 전사해 스크립트와 비교하고, 프레임별 검수(특히 자막 번인 확인)를 거친 후 배치 생성을 진행한다.
  • Claude Code, Codex, OpenClaw, WorkBuddy 등 에이전트에서 Agent Skills 형식으로 작동하며, Renoise MCP(원격 API) 연결로 생성을 제어한다.
  • macOS Vision을 이용한 배경-피사체 3단계 합성으로 프레젠터 뒤에 텍스트를 배치할 수 있고, 9:16·16:9·3:4 비율에 자동 적응한다.
  • 27초 광고는 Grok 5개 세그먼트로 482 Renoise 크레딧, 4분 36초 튜토리얼은 약 3,250~3,409 크레딧이 소요된다.
  • Xiaomi MiMo TTS를 선택적으로 연결해 설계된 음성이나 클론 음성 사용 가능하며, 영어·일본어·한국어·프랑스어·스페인어·아랍어 등 다국어를 Whisper로 검증(94~100%)한다.
  • ffmpeg, Python, Node.js, whisper.cpp, Playwright 등 로컬 도구 설치 필요하고, Remotion 렌더링은 3인 이하 개인/팀 무료(이상 유료 라이선스)이다.
  • 자신의 얼굴/음성 또는 명시적 허가를 받은 것만 사용하며, 모든 영상에 AI 디지털 휴먼 표시를 의무화하고 가짜 수치·가격·리뷰 금지를 규정한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗