쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
17건 · "비전 인코더"조건 지우기 ×
001 12:11 ▲ 16 · 댓글 5 멀티모달 비전 인코더의 세 가지 선택지를 분해하다 멀티모달 언어 모델의 비전 인코더 설계 방식을 통제된 환경에서 비교했다. 기존 모델들은 사전 학습된 인코더, 처음부터 학습된 인코더, 또는 인코더 없는 방식을 각각 사용하는데, 서로 다른 데이터·구조·계산량으로 인해 각 선택의 영향을 정확히 평가하기 어려웠다. AI · 머신러닝 · Unbundling Multimodal Vision Encoding
Key Point 멀티모달 모델에서 비전 처리 방식의 세 가지 핵심 선택지(사전 학습 여부, 용량 크기, 융합 위치)를 통제된 비교를 통해 각각의 영향을 명확히 규명해 향후 모델 설계에 실질적인 지표를 제시한다.
핵심 요약
멀티모달 언어 모델의 비전 인코더 설계 방식을 통제된 환경에서 비교했다. 기존 모델들은 사전 학습된 인코더, 처음부터 학습된 인코더, 또는 인코더 없는 방식을 각각 사용하는데, 서로 다른 데이터·구조·계산량으로 인해 각 선택의 영향을 정확히 평가하기 어려웠다. 연구팀은 모든 모델을 동일한 데이터로 처음부터 학습하고 같은 계산량에서 VQA(시각 질답)와 언어 벤치마크로 비교했다. 사전 학습된 비전 사전 지식은 필수가 아니며, 처음부터 함께 학습한 인코더가 별도 학습 단계 없이 사전 학습된 것과 같은 수준이다. 전체 요약 7문장 읽기 → 002 12:54 ▲ 101 · 댓글 44 혼합 전문가 모델 인클링 2 스몰 공개 싱킹머신즈(Thinking Machines)가 594B 파라미터(활성 17B)의 혼합 전문가 모델 인클링 2 스몰을 발표했으며, 이미지 입력과 가변 계산 노력을 지원한다. AI · 머신러닝 · Inkling 2 Small
Key Point 오픈 가중치 공개가 임박한 최신 혼합 전문자 모델로 코딩·추론·금융 작업에서 경쟁 모델을 앞서며, 자율 학습으로 모델 개선을 입증했기 때문이다.
핵심 요약
싱킹머신즈(Thinking Machines)가 594B 파라미터(활성 17B)의 혼합 전문가 모델 인클링 2 스몰을 발표했으며, 이미지 입력과 가변 계산 노력을 지원한다. 인공 분석 인텔리전스 인덱스에서 31점을 기록해 이전 세대 모델 대비 에이전트 코딩, 비전, 지식 작업, 추론 영역에서 성능이 향상됐다. 모델은 현재 틴커(Tinker)를 통해 폐쇄 가중치로 제공되며, 외부 안전 테스트와 레드팀 완료 후 다음 주 Apache 2.0 라이선스로 전체 가중치를 공개할 예정이다. 전체 요약 12문장 읽기 → 003 03:11 ▲ 144 · 댓글 28 킴(Kimi) K3.1 Pro 오픈 가중치 공개 쿼크(夸克)가 개발한 Kimi K3.1 Pro는 오픈 가중치 멀티모달 에이전트 모델로, 백 개가 넘는 하위 도메인에서 대규모 강화학습으로 K3에서 후학습했다. AI · 머신러닝 · Kimi K3.1 Pro model weights are out
Key Point 중국 AI 스타트업이 공개한 초대형 멀티모달 모델의 가중치가 외부에 공개되어 오픈소스 커뮤니티에서 자유롭게 실험·파인튜닝할 수 있게 됐고, OpenAI·Anthropic 모델들과의 벤치마크 비교를 통해 오픈 모델의 현재 수준을 파악할 수 있다.
핵심 요약
쿼크(夸克)가 개발한 Kimi K3.1 Pro는 오픈 가중치 멀티모달 에이전트 모델로, 백 개가 넘는 하위 도메인에서 대규모 강화학습으로 K3에서 후학습했다. 100만 토큰 컨텍스트 윈도우를 지원하며, 코딩·3D 생성·금융 조사·사실 정확도·에이전트 기능 등에서 큰 개선을 이뤄냈다. 총 파라미터 2.8T, 활성화 파라미터 104B, 93개 레이어, 전문가 896개(토큰당 16개 활성화)의 Mixture-of-Experts 아키텍처를 사용한다. 전체 요약 10문장 읽기 → 004 00:11 새 버전 허깅페이스 Transformers v5.22.0, 미스트랄 라지 4 모델 지원 미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다. AI · 머신러닝 · huggingface/transformers@v5.22.0
Key Point 1조 파라미터 오픈 가중치 멀티모달 모델의 등장으로 로컬 추론과 파인튜닝이 가능해지며, 기존 폐쇄형 모델과 경쟁 가능한 성능(사이버보안·금융·법률·시각적 근거 찾기)을 제시한다.
핵심 요약
미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다. 유럽 미스트랄 데이터센터의 3800개 엔비디아 그레이스 블랙웰 GPU로 처음부터 학습했으며, 명령어 따르기·추론·코딩·에이전트 작업을 단일 가중치로 통합한다. 160개 이상의 언어에 네이티브로 유창하며, EU 공식 언어 전체를 지원한다. 전체 요약 10문장 읽기 → 005 15:11 ▲ 14 · 댓글 2 로봇 조작 성공 판정하는 오픈 비전-언어 모델 RoboJev 공개 로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다. AI · 머신러닝 · RoboJev: An Open Vision-Language Judge for Robot Success Detection
Key Point 로봇 조작의 성공 판정을 자동화하는 오픈 모델으로, 다양한 로봇 환경에 일반화되며 비용 효율적인 추론 속도를 제공해 로보틱스 연구와 실무에 즉시 활용 가능하다.
핵심 요약
로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다. 작업 지시, 조작 시도의 10개 프레임, 그리고 보조 카메라 최종 프레임을 입력받아 작업 완료 여부를 예측한다. JEV-27B-VL을 기반으로 52,598개 에피소드 기록으로 학습했으며, 언어 모델만 rank-32 LoRA 어댑터로 미세조정하고 비전 인코더는 고정했다. 전체 요약 9문장 읽기 → 006 09:11 ▲ 110 · 댓글 40 리퀴드 AI, 멀티모달 소형 모델 LFM3 공개 리퀴드 AI가 2B 파라미터 규모의 멀티모달 파운데이션 모델 LFM3를 출시했다. 텍스트, 비전, 오디오, 옴니(멀티모달), 의사결정 모델을 하나의 백본에서 제공한다. AI · 머신러닝 · Introducing LFM3: Every Modality for Specialized Intelligence
Key Point 클라우드 없이 로컬 기기에서 텍스트·비전·오디오를 모두 처리할 수 있는 2B급 모델이 나왔으며, 에이전트 작업에서 훨씬 큰 모델들과 경쟁한다는 점이 온디바이스 AI 실용화의 진전을 의미한다.
핵심 요약
리퀴드 AI가 2B 파라미터 규모의 멀티모달 파운데이션 모델 LFM3를 출시했다. 텍스트, 비전, 오디오, 옴니(멀티모달), 의사결정 모델을 하나의 백본에서 제공한다. LFM3는 새로운 하이브리드 아키텍처와 22T 토큰 사전학습으로 LFM2보다 표현력이 뛰어나면서도 효율성을 유지한다. 로컬 파인튜닝, 모든 기기에서 실행, 전문 작업 최적화가 가능하다. 아키텍처는 13개 계층의 게이트 단락 컨볼루션, 5개 계층의 슬라이딩-윈도우 어텐션(256 토큰 윈도우), 6개 계층의 글로벌 어텐션을 조합한다. 커널 크기를 3에서 7로 확대했다. 전체 요약 10문장 읽기 → 007 06:11 새 버전 Hugging Face Transformers v5.21 릴리스, 5개 신규 모델 추가 Transformers 라이브러리가 v5.21.0을 릴리스했으며, 문서 인식부터 음성 합성까지 5개 모델을 새로 지원한다. AI · 머신러닝 · huggingface/transformers@v5.21
Key Point 문서 이해, 음성 합성 등 신규 모델 5개가 추가되고 병렬 처리·양자화·캐시 처리가 크게 개선되어 LLM과 멀티모달 모델 개발자들에게 직접적인 영향이 있다.
핵심 요약
Transformers 라이브러리가 v5.21.0을 릴리스했으며, 문서 인식부터 음성 합성까지 5개 모델을 새로 지원한다. MiniCPM-OCR은 OpenBMB의 모델로 SigLIP 비전 인코더와 Qwen3.5 언어 모델을 결합해 스캔 페이지, 스크린샷, 영수증 등 텍스트 밀집 이미지를 읽는다. Flint는 Recursive의 혼합 전문가 모델로 슬라이딩 윈도우 주의(512개 토큰 범위)와 완전 주의를 결합하며, 각 희소 계층이 256개 전문가 중 6개를 라우팅한다. 전체 요약 12문장 읽기 → 008 06:11 ▲ 271 · 댓글 67 Mistral Large 4, 1.05조 매개변수 멀티모달 모델 공개 Mistral이 최신 범용 멀티모달 모델 Mistral Large 4를 공개했다. AI · 머신러닝 · Mistral Large 4
Key Point 1조 개 이상의 매개변수를 가진 오픈 가중치 모델 공개로 다양한 개발자가 최신 멀티모달 AI를 직접 배포·커스터마이징할 수 있게 되었다.
핵심 요약
Mistral이 최신 범용 멀티모달 모델 Mistral Large 4를 공개했다. 52B의 활성 매개변수와 1.05조 개의 전체 매개변수를 가진 오픈 가중치 모델이다. 1.6B 크기의 비전 인코더를 내장해 이미지를 이해할 수 있다. 전체 요약 8문장 읽기 → 009 21:11 ▲ 33 · 댓글 4 샤오미, 영역 지정 이해 강화한 4B 멀티모달 모델 공개 샤오미가 Qwen3.5 기반의 4B 멀티모달 대형언어모델(MLLM) Xiaomi-Lens-0을 발표했다. AI · 머신러닝 · Xiaomi-Lens-0 Technical Report
Key Point MLLM이 이미지의 구체적 영역을 지시하고 추론하는 능력을 획기적으로 개선했으며, 마스크 감독 방식의 혁신이 다른 멀티모달 모델 개발에 영향을 줄 수 있다.
핵심 요약
샤오미가 Qwen3.5 기반의 4B 멀티모달 대형언어모델(MLLM) Xiaomi-Lens-0을 발표했다. 기존 MLLM은 전체 이미지 질문에는 강하나 세밀한 영역 이해에 약한데, 텍스트 감독만으로는 어느 영역이 답변을 지지하는지 명시되지 않기 때문이다. Xiaomi-Lens-0은 자신의 시각 표현에서 마스크를 예측하는 방식으로 이를 해결한다. 전체 요약 7문장 읽기 → 010 03:12 새 버전 트랜스포머 5.20.0: 메타 뮤즈 스파크 오픈 등 6개 신규 모델 지원 메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. AI · 머신러닝 · huggingface/transformers@v5.20.0
Key Point 메타·알렉스 알파·바이두 등 주요 기업의 첨단 멀티모달·OCR·오디오 모델 6개가 한 번에 지원되고, 분산 학습·추론·양자화 내보내기 등 프로덕션 기능이 대폭 개선되어 트랜스포머 사용자에게 즉시 영향을 미친다.
핵심 요약
메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. InclusionAI의 Ling 3.0 Flash는 5개 KDA 레이어와 1개 MLA 레이어를 결합한 혼합 전문가 모델로 BailingHybridForCausalLM으로 네이티브 지원되어 trust_remote_code=True 없이 로드된다. 알렉스 알파의 Kolibri 1은 독일어·영어 중심 추론 모델로, 50개 레이어가 384명의 전문가 중 6명에게 각 토큰을 시그모이드 라우팅으로 라우팅하고 슬라이딩 윈도우와 전체 어텐션 레이어를 번갈아 사용한다. 전체 요약 13문장 읽기 → 011 12:11 ▲ 111 · 댓글 25 스텝펀의 1백만 토큰 초대형 컨텍스트 모델 Step 5 Preview 공개 스텝펀이 에이전틱 작업 전용 플래그십 모델 Step 5 Preview를 OpenRouter를 통해 공개했다. AI · 머신러닝 · Step 5 Preview, a 1M-context MoE from StepFun, shows up on OpenRouter
Key Point 1백만 토큰의 초대형 컨텍스트로 긴 문서와 코드베이스를 한 번에 처리할 수 있어, AI 에이전트 구축과 복잡한 소프트웨어 엔지니어링 작업을 크게 단순화한다.
핵심 요약
스텝펀이 에이전틱 작업 전용 플래그십 모델 Step 5 Preview를 OpenRouter를 통해 공개했다. 27B 활성/600B 총 파라미터의 스파스 Mixture-of-Experts 아키텍처로 설계되었으며, 소프트웨어 엔지니어링과 재무 분야에서 강점을 보인다. 1,000,000 토큰의 초대형 컨텍스트 윈도우를 지원하며 최대 64,000개의 생성 토큰을 처리할 수 있다. 전체 요약 10문장 읽기 → 012 18:33 ▲ 2,013 · 댓글 1,195 Mistral, 52B 활성 파라미터 대형 멀티모달 모델 공개 미스트랄이 오픈웨이트 멀티모달 모델 'Mistral Large 4'를 공개했다. AI · 머신러닝 · Mistral Large 4
Key Point 오픈웨이트 대형 멀티모달 모델로 저가 가격대에서 기존 모델보다 효율적인 성능을 제공하려는 움직임이 시장에서 중요해지고 있기 때문이다.
핵심 요약
미스트랄이 오픈웨이트 멀티모달 모델 'Mistral Large 4'를 공개했다. 52B의 활성 파라미터와 1.05T의 총 파라미터를 갖춘 그래뉼러 혼합 전문가(MoE) 아키텍처를 채택했다. 1.6B 규모의 비전 인코더를 내장해 텍스트와 이미지 입력을 처리할 수 있다. 전체 요약 7문장 읽기 → 013 03:11 ▲ 184 · 댓글 63 클라우드플레어, 의사결정 특화 AI 모델 Clef 공개 클라우드플레어가 Jev Decision Index에서 1위를 차지한 의사결정 모델 Clef와 Clef-flash를 공개했고, 두 모델 모두 Apache 2.0 라이선스로 오픈소스화해 Hugging Face에서 배포 중이다. AI · 머신러닝 · Clef: Open-source decision models, and new RL fine-tuning platform
Key Point LLM의 비결정성과 느린 토큰 생성을 대체해 프로덕션 에이전트 워크플로우에서 실시간 의사결정이 필요한 개발자들에게 구체적인 선택지를 제공하며, 오픈소스 배포와 미세조정 플랫폼으로 커스터마이징 가능성을 연다.
핵심 요약
클라우드플레어가 Jev Decision Index에서 1위를 차지한 의사결정 모델 Clef와 Clef-flash를 공개했고, 두 모델 모두 Apache 2.0 라이선스로 오픈소스화해 Hugging Face에서 배포 중이다. 의사결정 모델은 입력에 따라 확률과 함께 타입이 지정된 구조화 출력을 생성해 에이전트가 자동으로 판단하고 실행하도록 돕는데, 예를 들어 고객 지원 메시지를 받아 긴급도와 담당팀을 분류한다. Clef는 이미지 분류도 가능한 비전 인코더를 갖춰 Jev(텍스트 분류만 지원)와 다르며, 64k 컨텍스트 윈도우(Jev는 32k)로 더 많은 입력을 처리할 수 있다. 전체 요약 12문장 읽기 → 014 03:11 새 버전 Transformers 5.18.0 출시, Nemotron·NemotronH Omni 등 신모델 추가 Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. AI · 머신러닝 · huggingface/transformers@v5.18.0
Key Point Transformers는 파이토치의 표준 NLP 라이브러리이며, 이 버전은 실시간 음성 처리, 멀티모달 추론, 분산 학습 최적화 등 프로덕션 환경의 여러 문제를 해결한다.
핵심 요약
Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. NemotronH Omni 멀티모달 추론 모델은 Mamba-Transformer 언어 모델에 RADIO 비전 인코더와 Parakeet 사운드 인코더를 결합하여 텍스트, 이미지, 비디오, 음성을 동시에 처리한다. HyperCLOVAX Vision V2는 NAVER가 개발한 멀티모달 모델로 Qwen2.5-VL 비전 인코더를 탑재하고 체인오브싱크 추론을 위한 thinking 토큰을 지원한다. 전체 요약 8문장 읽기 → 015 18:11 ▲ 57 · 댓글 2 비전 인코더 제거해도 될까, 스케일링 법칙으로 본 멀티모달 학습 기존 멀티모달 대규모 언어모델(MLLM)은 사전학습된 비전 인코더를 기반으로 하지만, 인코더가 없는 모델은 원본 픽셀에서 직접 시각 표현을 학습한다. AI · 머신러닝 · How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining
Key Point 현재 멀티모달 모델의 구조적 선택지가 스케일에 따라 어떻게 바뀌는지 정량적으로 보여주는 논문으로, 미래 모델 아키텍처 설계의 방향성을 결정하는 근거가 된다.
핵심 요약
기존 멀티모달 대규모 언어모델(MLLM)은 사전학습된 비전 인코더를 기반으로 하지만, 인코더가 없는 모델은 원본 픽셀에서 직접 시각 표현을 학습한다. 인코더 제거 시 멀티모달 목표의 최적 계산 할당이 더 큰 모델 쪽으로 이동하는 반면, 텍스트 목표는 변화가 거의 없다. 두 구조는 텍스트 손실에서는 겹치는 손실-계산 경계를 보이지만, 멀티모달 목표에서는 분산된다. 전체 요약 6문장 읽기 → 016 12:11 ▲ 117 · 댓글 3 인코더 레이어 융합 최적화로 이미지 생성-재구성 성능 차이 해소 Representation Autoencoder(RAE)는 사전학습된 비전 인코더의 피처를 재구성과 확산 잠재공간으로 재사용해 이미지 생성에 강력한 표현을 통합한다. AI · 머신러닝 · FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders
Key Point RAE 기반 이미지 생성 시스템에서 인코더 레이어 선택에 따른 성능 트레이드오프를 정규화 기법으로 해결하는 방법을 제시해, 생성 품질과 재구성 품질을 동시에 개선할 수 있음을 보여준다.
핵심 요약
Representation Autoencoder(RAE)는 사전학습된 비전 인코더의 피처를 재구성과 확산 잠재공간으로 재사용해 이미지 생성에 강력한 표현을 통합한다. 기존 RAE는 어느 인코더 레이어가 생성기와 픽셀 디코더의 공유 잠재공간을 형성할지 결정해야 하는데, 얕은 레이어는 세부 픽셀 정보를 잘 보존하지만 깊은 레이어는 생성 품질이 우수한 트레이드오프가 존재한다. FuseReg는 휴리스틱 피처 선택을 인코더 레이어의 무작위 부분집합 학습으로 대체하여 레이어 간 불일치의 민감도를 명시적으로 페널라이즈한다. 전체 요약 6문장 읽기 → 017 18:11 ▲ 42 · 댓글 3 다국어 텍스트 인식에 최적화된 MoE 아키텍처 다국어 OCR의 문제점을 해결하기 위해 script-aware Mixture-of-Experts(ScriptMoE) 아키텍처를 제안했다. AI · 머신러닝 · All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts
Key Point 언어별 별도 모델 배포 비용과 복잡성 없이 실무 OCR 성능을 크게 개선하는 실용적 기술로, 다국어 텍스트 인식이 필요한 개발자들이 주목할 만하다.
핵심 요약
다국어 OCR의 문제점을 해결하기 위해 script-aware Mixture-of-Experts(ScriptMoE) 아키텍처를 제안했다. TextMuSS-10M이라는 10개 문자 체계와 229개 언어를 포함한 대규모 합성 텍스트 데이터셋을 구축했다. ScriptMoE는 단일 비전 인코더와 이미지별 라우터가 상위 2개의 문자 체계 전문 모듈로 분배하는 희소 MoE 블록으로 구성된다. 전체 요약 5문장 읽기 →