쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
3건 · "음성 동기화"조건 지우기 ×
001▲ 117 · 댓글 3Kandinsky 6.0 Video, 텍스트로 음성 동기화 영상 생성Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델.AI · 머신러닝 · Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation

Key Point음성과 영상이 완벽하게 동기화된 멀티모달 생성 기술이 오픈소스로 공개되어 영상 제작 자동화와 멀티미디어 연구를 가속할 수 있게 되었습니다.
핵심 요약
- Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델.
- 경량 버전(3B 파라미터)과 고성능 버전(29B 파라미터) 두 종류로, 5초 영상과 44 kHz 음성을 립싱크 포함해 생성.
- 텍스트-오디오-비디오(T2AV)와 이미지-오디오-비디오(I2AV) 모드 지원하며, 내장 초해상화로 1920×1080 풀HD 출력 가능.
전체 요약 8문장 읽기 → 002▲ 57 · 댓글 2일상 영상에서 도구 사용 이해하는 AI 벤치마크 공개일상 및 전문적 작업에서 도구 사용은 필수이지만, 현 영상 모델들은 도구 사용의 affordance·기하학적 관계·절차·인과관계를 이해하는 데 제한적이다.AI · 머신러닝 · EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

Key Point현 멀티모달 모델이 실제 작업 영상에서 도구 사용의 세부 기하학·절차·인과관계를 이해하는 데 약점을 드러냈으므로, 이를 진단하고 개선할 수 있는 벤치마크가 필요하다.
핵심 요약
- 일상 및 전문적 작업에서 도구 사용은 필수이지만, 현 영상 모델들은 도구 사용의 affordance·기하학적 관계·절차·인과관계를 이해하는 데 제한적이다.
- 이를 해결하기 위해 EgoTools 스위트를 공개했으며, 100시간의 도구 중심 1인칭 영상 데이터셋(음성 동기화·캡션·내레이션·3D 정보 포함)과 진단 벤치마크로 구성된다.
- 벤치마크는 1,000개의 QA로 이루어져 있으며 지각·기하학·절차·인과 추론의 4가지 트랙을 포함한다.
전체 요약 6문장 읽기 → 003▲ 18 · 댓글 1대화 상대 얼굴 반응 생성 AI, 음성 신호에 정확히 반응대화형 AI가 사람처럼 얼굴 표정과 몸짓으로 반응하는 것을 자동으로 생성하는 기술이 핵심 과제였다.AI · 머신러닝 · REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening

Key Point대화 상대의 자연스러운 표정 반응을 음성 신호에 정확히 동기화하는 기술이 구현되면서, 구체적인 모션 캡처 데이터와 실제 로봇 배포로 검증된 구체적 성과를 보여줍니다.
핵심 요약
- 대화형 AI가 사람처럼 얼굴 표정과 몸짓으로 반응하는 것을 자동으로 생성하는 기술이 핵심 과제였다.
- 스피커 음성에 정확히 맞춰 반응하되 기존 표정을 자연스럽게 유지하면서, 동시에 예측 불가능한 눈 깜빡임과 짧은 표정까지 캡처해야 한다는 두 가지 도전이 있다.
- REALM이라는 프레임워크는 청자 모션 히스토리와 스피커 음성을 시간차를 중심으로 한 어텐션과 적응 게이팅으로 결합하는 Reactive Gated Speaker-Listener Fusion 모듈을 핵심으로 한다.
전체 요약 6문장 읽기 →