음성 데이터만으로 학습한 실시간 양방향 대화 AI 'Dessa' 공개

핵심 요약

• Block의 AI 연구팀이 Dessa를 공개했으며, 이는 음성-음성 변환 방식의 완전한 양방향(full-duplex) 대화 모델이다.
• 기존 음성 AI와 달리 음성을 텍스트로 변환하지 않고 원본 오디오 데이터만으로 학습했다.
• 감정, 억양, 웃음, 숨 쉬는 소리, 풍자 등 텍스트로는 손실되는 음성의 뉘앙스를 모두 보존한다.
• NVIDIA GB200 NVL72 단일 GPU로만 학습했으며, MacBook Pro M4 Max 이상에서 실시간보다 빠른 속도로 실행된다.
• 대화 중 중간에 끼어드는 타이밍, 백채널(고개 끄덕임의 음성 표현) 같은 자연스러운 대화 패턴을 학습했다.
• LLM과 달리 필요한 데이터량이 수백 배 적지만, 악센트·음성 크기·감정·일시정지 등 음성 고유의 요소들을 함께 학습해야 한다.
• 사람이 말하는 단어는 매번 다르게 발음되지만, 음성을 텍스트로 변환하면 이런 정보가 모두 손실되는 문제를 해결한다.
• 안전 연구자를 위한 초기 접근 권한을 제한된 인원에 제공하고 있으며, 예상하지 못한 위험을 찾는 것을 목표로 한다.
• Block 공동창립자 Jack Dorsey의 AI 연구팀이 개발했으며, 토론토의 딥러닝 스타트업 Dessa의 전 멤버들로 구성되었다.