쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
15건 · "음성·영상"조건 지우기 ×
001 09:11 ▲ 106 · 댓글 17 엔비디아, 40개 언어 지원하는 오픈 음성인식 모델 공개 엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다. AI · 머신러닝 · Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
Key Point 음성-텍스트 변환이 대규모 언어모델의 다음 병목이 되는 시점에 40개 언어를 지원하고 프롬프트·미세조정으로 도메인 적응이 가능한 오픈 모델이 공개됨에 따라, 음성 애플리케이션 개발 환경이 크게 바뀐다.
핵심 요약
엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다. 최대 1시간 길이 음성을 처리하고 최대 8명의 화자를 레이블링하며, 자연어 프롬프트로 출력을 제어할 수 있어 의료 받아쓰기·다국어 회의 등 도메인별 요구에 맞춘 결과를 얻을 수 있다. Hugging Face 오픈 ASR 리더보드 영어 부문에서 5.33% 평균 WER로 오픈 가중치 모델 중 1위, Artificial Analysis 레더보드에서 약 4B 활성 매개변수로 2.8% AA-WER을 달성해 파레토 경계에 위치한다. 전체 요약 12문장 읽기 → 002 00:11 ▲ 15 · 댓글 2 음성·영상 AI가 실시간 상황에 제때 반응하지 못한다 옴니모달 대형언어모델(Omni-LLM)이 계속 스트리밍되는 음성·영상을 관찰하면서 사용자를 지원할 수 있어야 하는데, 기존 평가 방식으로는 이들이 얼마나 신뢰성 있게 상황 증거와 사용자 필요를 연결해 적시에 개입하는지 알기 어렵다. AI · 머신러닝 · Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams
Key Point 음성·영상 AI가 실시간으로 상황을 인식하고 제때 도움을 주는 것이 얼마나 어려운지 첫 대규모 벤치마크로 드러나, 현재 모델의 한계와 개선할 구체적 방향을 보여준다.
핵심 요약
옴니모달 대형언어모델(Omni-LLM)이 계속 스트리밍되는 음성·영상을 관찰하면서 사용자를 지원할 수 있어야 하는데, 기존 평가 방식으로는 이들이 얼마나 신뢰성 있게 상황 증거와 사용자 필요를 연결해 적시에 개입하는지 알기 어렵다. Omni-InteractScope 벤치마크는 8개 작업군에 걸친 1,479개 인간 주석 상호작용과 1,790개 시간 목표를 제시한다. 도구 호출(tool invocation) 타이밍, 쿼리 없는 조언, 알림, 경고, 상태 추적, 지속적 응답을 포함해 입력 모달리티·사건 트리거·개입 유형·사용자 필요를 연결한다. 전체 요약 8문장 읽기 → 003 15:11 ▲ 37 · 댓글 2 음성·영상 추론 AI의 환각 현상, 증거 우선순위 재조정으로 해결 멀티모달 추론이 가능한 최신 대형언어모델(OLLM)이 음성과 영상을 함께 처리할 때 교차모달 환각이 발생하는 문제가 있다. AI · 머신러닝 · Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
Key Point 음성과 영상을 동시에 처리하는 멀티모달 AI 모델의 성능 문제를 추론 단계에서 해결하는 새로운 방법이 다양한 모델에서 검증되었기 때문이다.
핵심 요약
멀티모달 추론이 가능한 최신 대형언어모델(OLLM)이 음성과 영상을 함께 처리할 때 교차모달 환각이 발생하는 문제가 있다. 기존 방법들은 출력 단계에서만 처리하며 융합 표현 내의 근거 증거와 학습된 사전지식의 얽힘을 간과했다. Omni-Woodpecker(OWP)라는 훈련 불필요 프레임워크는 교차모달 충돌을 식별한 후 숨겨진 상태에서 증거와 경쟁하는 사전지식을 분리한다. 전체 요약 7문장 읽기 → 004 18:11 ▲ 18 · 댓글 2 음성-영상 추론의 '증거' 까지 평가하는 벤치마크 Omni LLM의 음성·영상 추론 능력을 평가하는 기존 벤치마크는 객관식 정답 정확도만 측정해, 모델이 실제로 근거에서 답까지 추론 연쇄를 형성했는지 알 수 없다는 문제가 있다. AI · 머신러닝 · EvaOmni: An Evidence-Grounded Benchmark for Audio-Visual Reasoning
Key Point Omni LLM이 정말 멀티모달 증거를 분석해 추론하는지를 평가할 수 있는 첫 벤치마크로, 기존 객관식 평가의 근본적인 한계를 드러내고 더 엄격한 평가 기준을 제시한다.
핵심 요약
Omni LLM의 음성·영상 추론 능력을 평가하는 기존 벤치마크는 객관식 정답 정확도만 측정해, 모델이 실제로 근거에서 답까지 추론 연쇄를 형성했는지 알 수 없다는 문제가 있다. 텍스트나 단일 모달리티만으로 정답을 맞힐 수 있는 '숏컷'이 존재해 진정한 음성-영상 분석 없이도 높은 점수를 얻을 수 있다. 이를 해결하기 위해 392개 비디오와 1,027개 인간 주석 질문-답변 쌍으로 구성된 EvaOmni 벤치마크를 공개했다. 전체 요약 10문장 읽기 → 005 16:56 당일 +112 중국 클라우드 드라이브 통합 다운로더 YunX 공개 쿼크, UC, 迅雷, 바이두, 139, 123, 115, 광야, 란좌운 등 중국 주요 클라우드 저장소의 공유 링크를 인식하고 추출 코드를 자동 매칭하는 안드로이드 앱이다. 오픈소스 · 도구 · CYQawa/YunX · Kotlin
Key Point 중국 대형 클라우드 저장소와 동영상 플랫폼 수십 개를 한 앱에서 통합 분석·다운로드할 수 있으며, 고속 멀티스레드 다운로드와 온라인 재생 기능으로 실용성이 높다.
핵심 요약
쿼크, UC, 迅雷, 바이두, 139, 123, 115, 광야, 란좌운 등 중국 주요 클라우드 저장소의 공유 링크를 인식하고 추출 코드를 자동 매칭하는 안드로이드 앱이다. 틱톡, 샤오훙수, 쾌수, 웨이보, AcFun, 빌리빌리, Pixiv 등 비디오·이미지 플랫폼의 링크도 해석해 직링크를 추출할 수 있다. HTTP Range 분할 다운로드와 단절점 재개 기능을 지원하며 최대 32개 동시 다운로드가 가능하다. 전체 요약 12문장 읽기 → 006 09:11 ▲ 102 · 댓글 79 오픈소스 Discord 대체재, Strafe 공개 Discord 대체를 목표로 한 오픈소스 채팅 플랫폼 Strafe를 공개했다. 오픈소스 · 도구 · Strafe: A new open-source, E2E Encrypted, and federated alternative to Discord
Key Point Discord의 개인정보보호와 광고에 대한 불만이 커지는 가운데, E2E 암호화와 셀프호스팅으로 완전한 데이터 통제가 가능한 오픈소스 대안이 나왔다.
핵심 요약
Discord 대체를 목표로 한 오픈소스 채팅 플랫폼 Strafe를 공개했다. 모든 메시지는 기본적으로 E2E 암호화되며, 추적과 광고가 없다. 자체 서버에서 실행할 수 있는 셀프호스팅을 지원하여 완전한 데이터 통제가 가능하다. 전체 요약 7문장 읽기 → 007 21:12 당일 +919 로컬·클라우드 AI 모델 한곳에서 관리하는 오픈소스 UI Open WebUI는 Ollama, OpenAI 호환 API 등 다양한 AI 모델을 지원하는 자체 호스팅 AI 플랫폼이며, 완전 오프라인 운영이 가능합니다. AI · 머신러닝 · open-webui/open-webui · Python
Key Point 로컬 모델부터 클라우드 API까지 통합 관리하면서 엔터프라이즈급 보안(LDAP/SSO/SCIM), 팀 협업 기능, RAG, 에이전트 실행 환경을 모두 지원해 온프레미스 AI 플랫폼을 자체 구축하려는 팀에게 필수 선택지입니다.
핵심 요약
Open WebUI는 Ollama, OpenAI 호환 API 등 다양한 AI 모델을 지원하는 자체 호스팅 AI 플랫폼이며, 완전 오프라인 운영이 가능합니다. 플러그인(필터, 액션, 파이프, 도구, 스킬)을 통해 MCP, MCPO, OpenAPI 도구 서버 연결로 맞춤 통합을 구축할 수 있으며, 역할 기반 접근 제어(RBAC)와 사용자 그룹으로 세밀한 권한 관리가 가능합니다. Open Terminal을 통해 AI 에이전트가 터미널과 파일시스템에 접근해 다단계 작업을 실행할 수 있으며, 엔터프라이즈 버전인 Terminals는 사용자별 격리 컨테이너, 리소스 제한, 네트워크 규칙을 제공합니다. 전체 요약 12문장 읽기 → 008 21:11 ▲ 15 · 댓글 2 멀티모달 AI의 약점을 파헤치는 평가 프레임워크 등장 음성-영상 동시 처리 능력을 갖춘 멀티모달 대형 언어모델(MLLM)의 성능 평가가 시급해지면서 새로운 벤치마크가 필요했다. AI · 머신러닝 · OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
Key Point 음성·영상 멀티모달 AI의 개발이 가속화되는 상황에서 실제 약점을 구분해 측정할 수 있는 평가 방법론이 처음 제시되어, 향후 MLLM 개선 방향을 좌우할 기준점이 될 것이다.
핵심 요약
음성-영상 동시 처리 능력을 갖춘 멀티모달 대형 언어모델(MLLM)의 성능 평가가 시급해지면서 새로운 벤치마크가 필요했다. 기존 벤치마크는 전체 캡션 점수는 포괄성 있지만 세부 위치 정보가 없거나, 부분 검증은 정확하지만 전체 흐름을 놓치는 문제가 있었다. 연구팀은 OmniCapBench를 개발해 평가 대상을 자유로운 텍스트에서 검증 가능한 원자 단위로 변경했다. 전체 요약 7문장 읽기 → 009 03:11 ▲ 11 · 댓글 2 음성·영상 AI의 할루시네이션 문제, 질문 재라우팅으로 해결 음성·영상 정보를 함께 다루는 대형언어모델(AVLLM)이 사용하지 않아야 할 모달리티의 신호까지 반영해 잘못된 답변을 생성하는 '소스-혼동 할루시네이션' 문제가 발생한다. AI · 머신러닝 · Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models
Key Point 음성·영상을 함께 처리하는 AI 시스템에서 불필요한 정보로 인한 오답 문제를 진단하고 해결하는 구체적 방법이 제시되어, 멀티모달 모델의 신뢰성을 높이는 데 직접 적용 가능하다.
핵심 요약
음성·영상 정보를 함께 다루는 대형언어모델(AVLLM)이 사용하지 않아야 할 모달리티의 신호까지 반영해 잘못된 답변을 생성하는 '소스-혼동 할루시네이션' 문제가 발생한다. 연구팀이 경로 개입과 표현 분석을 통해 이 문제의 내부 메커니즘을 규명했다: 질문 상태가 필요한 모달리티의 증거뿐 아니라 간섭 신호도 함께 전달하며, 생성 단계보다는 질문 단계에서 간섭을 차단할 때 더 효과적이다. 이를 바탕으로 SECRET(SourcE-Conditioned RElay sTeering)이라는 훈련 불필요 방식을 제안했다: 서로 다른 모달리티 경로로 추출한 대조적 질문 표현을 이용해 원래 질문을 필요한 소스의 증거로 유도한다. 전체 요약 5문장 읽기 → 010 21:11 ▲ 65 · 댓글 1 LLM이 진정한 비동기 에이전트로 거듭난다 현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. AI · 머신러닝 · LLMs are General Asynchronous Agents
Key Point LLM을 단순 음성 인식기나 로봇 제어기로만 쓰던 시대에서 벗어나, 진정으로 동시다중 작업을 처리하는 에이전트로 만드는 기술이 등장했다는 뜻이다. 이는 실시간 응답과 백그라운드 작업을 함께 해야 하는 음성 어시스턴트, 자율 로봇, 모니터링 시스템 등의 실용성을 크게 높일 수 있다.
핵심 요약
현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. 실제 응용(음성 어시스턴트, 로봇 제어, 모니터링)은 비순차적이다. 에이전트가 생각하거나 작업을 수행하는 도중 새로운 입력이 들어온다. 현재는 음성·영상 처리, 로봇 제어(VLA), 비동기 도구 호출 등 용도별로 서로 다른 아키텍처를 구축해야 한다. 전체 요약 5문장 읽기 → 011 15:11 ▲ 46 · 댓글 2 텍스트·이미지·영상·음성을 하나로 이해하는 멀티모달 임베딩 모델 공개 Hugging Face 연구팀이 텍스트, 이미지, 영상, 음성을 통합으로 처리하는 Ovis-Embedding을 발표했다. AI · 머신러닝 · Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
Key Point 단일 모달리티 검색의 한계를 극복하고 텍스트-영상, 음성-텍스트 등 크로스 모달 검색이 필요한 개발자와 연구자에게 새로운 기술 선택지를 제공한다.
핵심 요약
Hugging Face 연구팀이 텍스트, 이미지, 영상, 음성을 통합으로 처리하는 Ovis-Embedding을 발표했다. 기존의 분리된 모달리티 타워 대신 공유 멀티모달 백본을 사용해 모든 데이터를 공통 표현 공간으로 인코딩한다. Qwen-omni 사전학습 모델을 기반으로 대조 학습과 저랭크 초기화를 통해 학습했다. 전체 요약 5문장 읽기 → 012 03:11 ▲ 215 · 댓글 4 실시간 음성·영상 대화 AI, 풀듀플렉스 상호작용 시스템 공개 Hugging Face가 실시간 쌍방향 대화가 가능한 Realtime-Venus 시스템을 발표했다. AI · 머신러닝 · Realtime-Venus: A full-duplex interaction system with asynchronous delegation
Key Point 자연스러운 실시간 음성·영상 대화를 처리하는 시스템이 대규모 벤치마크에서 경쟁 모델을 앞선 성과를 보이고 있으며, 음성 중단과 배경음 같은 현실적 상황에서의 응답 능력이 실용성을 높입니다.
핵심 요약
Hugging Face가 실시간 쌍방향 대화가 가능한 Realtime-Venus 시스템을 발표했다. 영상 상호작용용 Realtime-Venus-Omni과 음성 상호작용용 Realtime-Venus-Audio 두 개의 9B 모델로 구성되며, 각각 연속적 인지, 대화 제어, 음성 생성을 통합한다. 사용자 입력·모델 출력·작업 위임을 공유 타임라인으로 관리하며, 별도의 런타임이 백그라운드 작업을 비동기로 처리하면서 전면 상호작용을 이어간다. 전체 요약 5문장 읽기 → 013 16:18 ▲ 47 · 댓글 4 AI 음성·영상 대화 학습 데이터 자동 생성 기술 오디오와 영상을 직접 입력받아 텍스트로 답하는 '오므니비챗' 태스크를 정의하고, 별도 음성 인식이나 캡션 없이 사용자의 질문을 이해한다. AI · 머신러닝 · OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
Key Point 음성-영상 기반 AI 모델의 학습 데이터가 부족한 가운데, 합성 데이터로 모델을 학습하고 평가하는 새로운 방식이 실제 성능 개선으로 검증되었기 때문입니다.
핵심 요약
오디오와 영상을 직접 입력받아 텍스트로 답하는 '오므니비챗' 태스크를 정의하고, 별도 음성 인식이나 캡션 없이 사용자의 질문을 이해한다. 에이전트와 비디오 생성 기술을 활용해 합성된 대화 데이터를 만드는 '오므니비챗-스튜디오' 엔진을 개발했다. 합성 데이터로 오므니비챗 모델의 기본 대화 능력을 5개 카테고리로 평가하는 벤치마크를 구축했다. 전체 요약 5문장 읽기 → 014 21:11 당일 +412 yt-dlp, 수천 사이트 지원하는 영상 다운로더 youtube-dl 프로젝트를 기반으로 만들어진 오픈소스 명령줄 도구로, 수천 개 사이트에서 음성·영상 다운로드를 지원한다. 오픈소스 · 도구 · yt-dlp/yt-dlp · Python
Key Point youtube-dl의 활발한 후속 프로젝트로, 더 많은 사이트 지원과 풍부한 기능으로 영상 다운로드 워크플로우를 자동화하려는 개발자들이 찾아야 할 도구다.
핵심 요약
youtube-dl 프로젝트를 기반으로 만들어진 오픈소스 명령줄 도구로, 수천 개 사이트에서 음성·영상 다운로드를 지원한다. Windows, macOS, Linux 등 여러 플랫폼용 바이너리와 pip을 통한 설치를 제공한다. 자막, 썸네일, 메타데이터 수정 등 다양한 옵션과 플러그인 개발을 지원한다. 전체 요약 4문장 읽기 → 015 21:11 당일 +837 한 줄 프롬프트로 맞춤형 강의 제작…AI 에이전트 기반 교실 OpenMAIC v1.0.0은 프롬프트 하나로 강의안을 자동 생성하는 에이전트 워크벤치를 제공한다. AI · 머신러닝 · THU-MAIC/OpenMAIC · TypeScript
Key Point 교육 콘텐츠 제작 비용과 시간을 획기적으로 줄일 수 있는 방식으로, 에이전트 기반 대화형 AI가 소비 영역을 넘어 창작 도구로 확산되는 흐름을 보여준다.
핵심 요약
OpenMAIC v1.0.0은 프롬프트 하나로 강의안을 자동 생성하는 에이전트 워크벤치를 제공한다. 사용자는 채팅 방식으로 에이전트와 상호작용하며 강의안을 계획, 작성, 수정할 수 있다. 문서·음성·영상 업로드와 웹 검색을 통해 수집한 자료로부터 강의를 생성한다. 전체 요약 5문장 읽기 → 
