Claude 3.5로 한 번의 실행으로 완성하는 동영상 생성 도구
원제 Opus 5.5 is good at explainer videos
110 포인트댓글 80
Key Point
Claude 3.5 Opus의 실제 활용 사례를 통해 대규모 언어 모델이 단순 텍스트를 넘어 시각 콘텐츠 생성까지 어떻게 확장되는지, 그리고 실제 프로덕션 환경에서 작동하는 시스템 설계 방식을 볼 수 있습니다.
핵심 요약
- Claude 3.5 Opus를 활용해 URL이나 프롬프트 입력만으로 편집 없이 MP4 동영상을 자동 생성하는 웹 도구 'Launch Video'를 선보였다.
- 웹 페이지 텍스트·제목·헤딩·색상·폰트 정보를 추출하고, 생성된 HTML을 확인해 오류와 화면 텍스트를 검증한 뒤 동영상으로 렌더링하는 세 개의 도구로 구성된다.
- OpenComputer의 서버리스 에이전트 위에서 작동하며, TypeScript로 정의된 단일 에이전트 파일과 세 개의 도구만으로 이루어져 있고 별도의 프레임워크나 큐, 자체 서버가 필요 없다.
- 각 작업은 Amazon Linux 2023 기반 신규 마이크로VM(arm64, 4vCPU, 8GB RAM)에서 실행되며 완료 후 폐기되고, 약 90,000개의 입력 토큰과 15,000개의 출력 토큰을 사용한다.
- 동영상 AI 모델 없이 가상 클록으로 웹페이지의 모든 시간 기반 요소(requestAnimationFrame, 타이머, CSS 애니메이션 등)를 제어해 매 프레임을 결정적으로 렌더링한다.
- 1920x1080 해상도, 30fps로 JPEG 프레임을 libx264로 인코딩하며(CRF 18), 완성된 MP4는 Vercel Blob에 저장되어 공개 URL로 제공된다.
- Vercel Blob 업로드 토큰은 3시간 범위로 제한되며 작업별 매니페스트에 보관되어 보안 키를 에이전트가 보유하지 않도록 설계했다.
- CLI와 동일한 API를 사용해 세션을 생성하고 이벤트 스트림(tool.started, tool.completed, turn.completed)을 폴링해 진행 상황을 표시한다.
- TypeScript 파일 하나, 배포 한 번, 세션으로 약 10분 안에 자신의 에이전트를 구축할 수 있으며 무료 계정으로 프로젝트에 직접 배포 가능하다.
- GitHub의 diggerhq/shipvideo 리포지토리에서 에이전트, 렌더러, 웹 앱 전체 코드를 제공하며 한 번의 클릭으로 계정에 배포할 수 있다.
- 이 개념은 Opus 5.5가 모션 디자인 코드를 작성하고 그 코드가 매번 동일하게 렌더링된다는 원리에 기반하고 있다.