쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
26건 · "토크나이저"조건 지우기 ×
001 00:11 ▲ 121 · 댓글 69 바이두, 효율성 중심의 초거대 언어모델 ERNIE 5.5 Flash 공개 바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. AI · 머신러닝 · Baidu released ERNIE 5.5 Flash Base
Key Point 개발자가 자체 파인튜닝에 집중할 수 있도록 사전학습 체크포인트를 그대로 공개했고, 아키텍처 전반에서 활성 파라미터를 줄인 희소 모델로 훈련 및 추론 비용을 절감할 수 있게 설계했다.
핵심 요약
바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. 사전학습 종료 직후의 가중치를 제공하므로, 도메인 적응·명령어 튜닝·강화학습 연구의 출발점으로 사용 가능하다. 모델은 효율성을 최우선으로 설계했다. 43개 레이어 중 37개는 128배 압축된 시퀀스를 처리하는 HCA(Heavily Compressed Attention)를 사용하고, 6개만 전체 컨텍스트에 접근하는 MLA(Multi-head Latent Attention)를 사용한다. 전체 요약 10문장 읽기 → 002 21:11 당일 +245 마이크로소프트, 음성 AI 모델 제품군 VibeVoice 공개 마이크로소프트가 오픈소스 음성 AI 모델 패밀리 VibeVoice를 공개했으며, 음성 인식(ASR)과 음성 합성(TTS) 모두 지원한다. AI · 머신러닝 · microsoft/VibeVoice · Python
Key Point 음성 인식·합성을 통합한 장시간 음성 처리의 새로운 기준을 제시하며, CPU 기반 엣지 배포부터 클라우드 추론까지 다양한 환경에서 실무 적용 가능성을 높인 기술이다.
핵심 요약
마이크로소프트가 오픈소스 음성 AI 모델 패밀리 VibeVoice를 공개했으며, 음성 인식(ASR)과 음성 합성(TTS) 모두 지원한다. 핵심 기술은 7.5Hz 초저속도의 연속 음성 토크나이저(Acoustic, Semantic)를 사용해 음질을 보존하면서도 긴 시퀀스 처리 효율을 높인다. VibeVoice-ASR은 60분 길이의 음성을 한 번에 처리하며, 화자 식별, 타임스탐프, 내용을 포함한 구조화된 전사를 생성한다. 전체 요약 11문장 읽기 → 003 18:13 ▲ 14 · 댓글 2 인간 시연으로 로봇 정책 적응 가능하게한 H2RB 프레임워크 사전학습된 Vision-Language-Action(VLA) 정책은 로봇 배포의 좋은 출발점이지만, 대상 로봇과 환경에 맞추려면 로봇 고유의 비용 많이 드는 시연이 필요하다. AI · 머신러닝 · Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs
Key Point 로봇 정책 미세조정 시 비용이 많이 드는 로봇 데이터 대신 수집이 쉬운 인간 시연을 활용할 수 있는 실질적 방법을 제시하기 때문이다.
핵심 요약
사전학습된 Vision-Language-Action(VLA) 정책은 로봇 배포의 좋은 출발점이지만, 대상 로봇과 환경에 맞추려면 로봇 고유의 비용 많이 드는 시연이 필요하다. 인간 시연은 수집이 훨씬 쉽지만, VLA가 주로 로봇 데이터로 사전학습된 경우 인간-로봇 embodiment 차이가 크면 직접 활용하기 어렵다. H2RB(Human-To-Robot Bridge)는 쌍을 이루지 않은 인간과 로봇 시연으로부터 사전학습된 VLA 정책을 적응시키는 인간-로봇 공동 학습 프레임워크다. 전체 요약 8문장 읽기 → 004 21:11 ▲ 12 · 댓글 2 음성 대화형 AI를 위한 압축 토큰 처리 기법 제안 음성 대화형 AI 모델(SDM)이 음성 생성과 합성에 같은 토큰 공간을 쓰면서 긴 자동 회귀 시퀀스와 높은 추론 비용이 발생한다. AI · 머신러닝 · CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
Key Point 음성 대화 모델의 추론 비용을 크게 줄이면서 모델 재학습 없이 기존 시스템에 적용할 수 있는 방법이 제시되어, 실제 음성 AI 서비스의 성능과 비용 효율성을 동시에 개선할 수 있다.
핵심 요약
음성 대화형 AI 모델(SDM)이 음성 생성과 합성에 같은 토큰 공간을 쓰면서 긴 자동 회귀 시퀀스와 높은 추론 비용이 발생한다. 기존의 저율 토크나이저는 시퀀스를 짧게 하지만 압축 품질 손상과 모델 교체 비용이 크다. CoSTA는 원본 음성 토크나이저와 디코더를 유지하면서 생성과 합성 토큰 공간을 분리하는 호환성 보존형 프레임워크다. 전체 요약 7문장 읽기 → 005 03:11 ▲ 11 · 댓글 2 사전학습 데이터의 어휘 흔적이 모델 성능에 미치는 영향 제로샷 벤치마크 성능이 사전학습 말뭉치와 벤치마크 목표 간의 단어 수준 정렬에 얼마나 의존하는지 연구한 논문이다. AI · 머신러닝 · The Lexical Imprint of Pre-training Data
Key Point 사전학습 말뭉치의 어휘 특성이 모델의 제로샷 성능에 직접적인 영향을 미친다는 인과관계를 실증적으로 입증하며, 데이터 선택과 라우팅을 통한 성능 최적화의 가능성을 제시한다.
핵심 요약
제로샷 벤치마크 성능이 사전학습 말뭉치와 벤치마크 목표 간의 단어 수준 정렬에 얼마나 의존하는지 연구한 논문이다. 단어 단위 유니그램 교차 엔트로피(UCE)라는 토크나이저 무관의 모델 자유 지표를 제안해 참조 말뭉치와 목표 벤치마크 간 어휘 정렬을 측정한다. 우도 학습은 사전학습 말뭉치로부터 모델의 예측 분포를 형성하며, 우도 기반 평가의 제로샷 점수는 그 말뭉치와 벤치마크 사이의 어휘 정렬에 부분적으로 의존한다. 전체 요약 8문장 읽기 → 006 21:11 ▲ 115 · 댓글 32 AI 이미지 생성 실전 가이드: 확산부터 에이전트까지 AI 이미지 생성 모델은 크게 확산형과 멀티모달형으로 나뉜다. 확산형은 노이즈에서 시작해 단계별로 정제하며 텍스트 인코더가 프롬프트를 수치로 변환해 방향을 제시한다. 멀티모달형은 언어와 이미지를 함께 이해해 지시 따르기와 텍스트 렌더링에 강하며, 대부분 내부적으로 계획 후 그린다. AI · 머신러닝 · A practical guide to AI image generation, from diffusion to agents
Key Point 이미지 생성 API 가격, 프롬프트 작성법, 모델별 강점이 구체적인 수치와 실험 사례로 제시돼 있어 프로덕션 코드에 통합하거나 비용을 최적화하려는 개발자에게 실질적 지침이 된다.
핵심 요약
AI 이미지 생성 모델은 크게 확산형과 멀티모달형으로 나뉜다. 확산형은 노이즈에서 시작해 단계별로 정제하며 텍스트 인코더가 프롬프트를 수치로 변환해 방향을 제시한다. 멀티모달형은 언어와 이미지를 함께 이해해 지시 따르기와 텍스트 렌더링에 강하며, 대부분 내부적으로 계획 후 그린다. 2014년 GAN부터 2026년 현재까지 AI 이미지 기술은 여섯 손가락 같은 비현실적 오류와 텍스트 인식 문제를 거의 해결했다. 문제의 원인은 모델이 손 형태를 텍스처로만 학습했기 때문이고, 토크나이저가 글자 대신 단어 단위로 처리했기 때문이다. ChatGPT의 GPT Image 모델은 3월 2025년부터 기본 이미지 생성기이며, 대화식 편집과 지시 따르기에 강하지만 시드 제어가 없고 측면 비율이 제한돼 있다. API를 쓸 때는 다양한 크기와 품질 계층, 배치 처리가 가능하다. 전체 요약 11문장 읽기 → 007 12:11 ▲ 26 · 댓글 1 확산 모델 학습을 위한 견고한 토크나이저 RoAR-VAE 시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다. AI · 머신러닝 · RoAR-VAE: Improving Latent Diffusability through Robust Prediction
Key Point 확산 모델 기반 이미지 생성의 핵심인 토크나이저 설계에 새로운 원칙을 제시하며, 견고한 예측으로 재구성과 생성 성능을 동시에 개선할 수 있음을 보여준다.
핵심 요약
시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다. 기존 REPA-E 접근법을 다시 검토한 결과, 확산 목적과 전용 생성 블록을 제거하고 손상된 잠재에서의 의미론적 예측만 유지해도 유사한 생성 성능을 낸다. 이를 바탕으로 '견고한 예측' 원칙을 제시한다: 생성에 필요한 정보가 손상된 잠재에서도 복구 가능해야 한다. 전체 요약 6문장 읽기 → 008 03:12 새 버전 트랜스포머 5.20.0: 메타 뮤즈 스파크 오픈 등 6개 신규 모델 지원 메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. AI · 머신러닝 · huggingface/transformers@v5.20.0
Key Point 메타·알렉스 알파·바이두 등 주요 기업의 첨단 멀티모달·OCR·오디오 모델 6개가 한 번에 지원되고, 분산 학습·추론·양자화 내보내기 등 프로덕션 기능이 대폭 개선되어 트랜스포머 사용자에게 즉시 영향을 미친다.
핵심 요약
메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. InclusionAI의 Ling 3.0 Flash는 5개 KDA 레이어와 1개 MLA 레이어를 결합한 혼합 전문가 모델로 BailingHybridForCausalLM으로 네이티브 지원되어 trust_remote_code=True 없이 로드된다. 알렉스 알파의 Kolibri 1은 독일어·영어 중심 추론 모델로, 50개 레이어가 384명의 전문가 중 6명에게 각 토큰을 시그모이드 라우팅으로 라우팅하고 슬라이딩 윈도우와 전체 어텐션 레이어를 번갈아 사용한다. 전체 요약 13문장 읽기 → 009 18:11 ▲ 35 · 댓글 2 완전 공개 멀티모달 모델 Apertus 1.5 출시 Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. AI · 머신러닝 · Apertus 1.5: From Open Text Models to Open Multimodal Reasoners
Key Point 공개 데이터로만 학습한 완전히 오픈소스 멀티모달 모델의 등장으로, 소수 기업 종속에서 벗어날 수 있는 대안이 실제 규모에서 가능함을 보여준다.
핵심 요약
Apertus 1.5는 완전히 공개 데이터로 학습한 멀티모달 추론 모델로, 텍스트 기반 Apertus 1.0을 확장했다. 8B 모델에 4T개, 70B 모델에 2T개 토큰을 추가 학습해 이미지와 음성 이해 능력을 추가했으며, 컨텍스트 윈도우를 262,144 토큰으로 4배 확대했다. 토크나이저를 통해 멀티모달 입력을 처리하되 언어 모델 헤드는 텍스트만 출력하고 아키텍처는 유지했다. 전체 요약 9문장 읽기 → 010 15:11 ▲ 54 · 댓글 2 토큰 대신 행동 기준으로 언어모델 에이전트 증류하기 언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다. AI · 머신러닝 · ActionOPD: Distilling Decisions, Not Tokens
Key Point 작은 언어모델을 강력한 에이전트로 만드는 증류 방식의 근본적인 패러다임 전환으로, 토크나이저 의존성 없이 더 유연한 모델 간 지식 이전이 가능해진다.
핵심 요약
언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다. 연구팀은 의미 있는 행동(semantic actions)을 증류 감시 신호로 사용하는 ActionOPD(행동 수준 온폴리시 증류) 방법을 제안했다. ActionOPD는 학생 모델이 마주친 각 상태에서 학생과 블랙박스 교사 모델에서 모두 행동을 샘플링하고, 학생 행동의 의미적 일치도에 따라 보상을 준다. 전체 요약 7문장 읽기 → 011 18:12 ▲ 13 · 댓글 2 MixTok: 전역 1D와 부분 2D 혼합한 적응형 이미지 토크나이저 기존 그리드 기반 토크나이저는 이미지 복잡도와 무관하게 모든 위치에 균등하게 토큰을 할당하므로 비효율적이고, 반면 1D 토크나이저는 간결하지만 세부 정보 보존에 약하다. AI · 머신러닝 · MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement
Key Point 이미지 토크나이저의 효율성과 품질을 동시에 높이는 새로운 하이브리드 구조가 기존 방식의 트레이드오프를 어떻게 해결하는지 보여준다.
핵심 요약
기존 그리드 기반 토크나이저는 이미지 복잡도와 무관하게 모든 위치에 균등하게 토큰을 할당하므로 비효율적이고, 반면 1D 토크나이저는 간결하지만 세부 정보 보존에 약하다. 연구팀은 글로벌 정보를 담은 1D 토큰과 세부 개선용 2D 토큰을 결합한 하이브리드 토크나이저 MixTok을 제안했다. 콘텐츠 적응 라우터가 우선순위에 따라 후보 위치를 순위 매기고, 목표 토큰 예산 내에서 각 이미지당 2D 토큰 개수를 결정한다. 전체 요약 5문장 읽기 → 012 18:33 ▲ 160 · 댓글 2 다른 토크나이저 간 증류학습, 정확도는 적은 정보로도 충분하다 On-Policy Distillation(OPD)은 학생 모델이 자신의 생성 결과에 대해 교사 모델의 피드백을 받아 학습하는 방식이며, 다른 토크나이저를 쓸 때는 시퀀스와 어휘 레벨에서 정렬이 필요하다. AI · 머신러닝 · Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
Key Point 다른 토크나이저를 사용하는 모델 간 증류에서 더 많은 정렬 범위보다 신뢰할 수 있는 감독이 핵심이라는 발견으로, 효율적인 학습 설계의 원칙을 제시한다.
핵심 요약
On-Policy Distillation(OPD)은 학생 모델이 자신의 생성 결과에 대해 교사 모델의 피드백을 받아 학습하는 방식이며, 다른 토크나이저를 쓸 때는 시퀀스와 어휘 레벨에서 정렬이 필요하다. 수학 추론과 코드 생성 과제에서 3개 교사-학생 쌍을 실험한 결과, 어휘 불일치가 크더라도 엄격한 1:1 정렬만으로도 학생이 생성한 대부분의 토큰을 커버했다. 학생이 증류 전에 샘플링한 응답에서 공유 어휘는 엄격히 정렬된 위치에서 교사와 학생의 확률 질량 거의 전부를 유지했다. 전체 요약 7문장 읽기 → 013 18:33 ▲ 422 · 댓글 46 구글, 멀티모달 임베딩 모델 'EmbeddingGemma 2' 공개 Google DeepMind이 EmbeddingGemma 2를 공개했으며, 텍스트·이미지·오디오·비디오를 통합 임베딩 공간으로 매핑하는 가볍고 고성능의 온디바이스 멀티모달 모델이다. AI · 머신러닝 · EmbeddingGemma 2: An open, lightweight multimodal embedding model
Key Point 온디바이스에서 텍스트·이미지·오디오·비디오를 하나의 모델로 처리할 수 있게 되어, 데이터 프라이버시를 보호하면서도 로컬에서 멀티모달 검색과 RAG를 구현할 수 있는 기반이 마련됐다.
핵심 요약
Google DeepMind이 EmbeddingGemma 2를 공개했으며, 텍스트·이미지·오디오·비디오를 통합 임베딩 공간으로 매핑하는 가볍고 고성능의 온디바이스 멀티모달 모델이다. 지난해 출시한 EmbeddingGemma는 2천만 건 이상 다운로드되어 온디바이스 검색과 프라이버시 우선 RAG 파이프라인 구축에 활용됐다. EmbeddingGemma 2는 Gemma 4 아키텍처 기반, 7억 4천만 파라미터 규모이며 Apache 2.0 라이선스로 공개된다. 전체 요약 12문장 읽기 → 014 00:11 ▲ 11 · 댓글 2 예측 가능한 의미 토큰으로 영상 생성 가속화 최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. AI · 머신러닝 · SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Key Point 자동회귀 영상 생성에서 모델 크기 대비 성능 효율이 3배 이상 개선되면서, 비용 효율적인 고품질 영상 생성 시스템 구축이 가능해진다.
핵심 요약
최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. 기존 유연한 토크나이저들은 초기 디코더 숨김층에만 표현 정렬(REPA) 손실을 적용하는데, 디코더가 노이즈 입력에서 이를 부분적으로만 충족할 수 있다는 문제가 있다. SemanTok은 고정된 DINO 특징을 인코더에 입력하고 각 토큰 접두사에서 이들을 재구성하는 경량 헤드를 추가한 유연한 영상 토크나이저다. 전체 요약 6문장 읽기 → 015 00:11 ▲ 107 · 댓글 19 독일 Aleph Alpha, 주권형 언어모델 Kolibri 공개 Aleph Alpha가 78B 총 파라미터(3B 활성화)의 영-독일 이중언어 Mixture-of-Experts 모델 Kolibri를 공개했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원하고 Apache 2.0 라이선스로 Hugging Face에서 다운로드 가능하다. AI · 머신러닝 · Kolibri Has Landed: A Sovereign Open-Weight Model
Key Point EU 규제에 맞춘 독일 기업의 오픈소스 모델이 소규모 활성 파라미터로 대형 모델을 능가하는 성능을 달성했으며, 투명한 공급망과 온프레미스 배포로 정부·산업 고객의 데이터 주권을 보장하는 새로운 접근 방식을 보여준다.
핵심 요약
Aleph Alpha가 78B 총 파라미터(3B 활성화)의 영-독일 이중언어 Mixture-of-Experts 모델 Kolibri를 공개했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원하고 Apache 2.0 라이선스로 Hugging Face에서 다운로드 가능하다. Kolibri는 정부·산업·항공우주 등 규제 대상 영역의 임무 수행을 위해 독일어, 추론, 수학, 에이전트 행동에 최적화되었으며, 개별 고객의 사용 사례에 맞춘 성능을 제공한다. 모델은 공급망 투명성, 독일 및 핀란드 인프라 기반 운영, 완전한 배포 자유도를 제공하여 주권성을 확보했으며, EU AI법과 GDPR 준수를 설계 초기부터 반영했다. 전체 요약 13문장 읽기 → 016 00:11 ▲ 160 · 댓글 91 독일의 주권형 AI, 78억 파라미터 콜리브리 공개 Aleph Alpha가 독일·영국 대상의 혼합 전문가(MoE) 모델 '콜리브리'를 2026년 10월 3일 Apache 2.0 라이선스로 공개했다. AI · 머신러닝 · Show HN: Germany's new sovereign AI model Kolibri
Key Point EU AI 규정 준수, 데이터 독립성, 독일어 추론을 통합한 오픈웨이트 모델로 유럽 규제권 내 AI 자립이 기술적으로 가능함을 보여주며, 금융·공공·항공우주 등 데이터 민감 산업에 기존 대규모 모델 의존도를 낮힐 선택지를 제공한다.
핵심 요약
Aleph Alpha가 독일·영국 대상의 혼합 전문가(MoE) 모델 '콜리브리'를 2026년 10월 3일 Apache 2.0 라이선스로 공개했다. 78.1억 개 파라미터 중 토큰당 3.46억 개(4.4%)만 활성화되며, 262,144 토큰 기본 문맥에서 최대 104만 8576 토큰까지 검증됐다. 독일 및 핀란드 인프라에서 768개 NVIDIA B200 GPU로 24조 토큰을 학습했으며, 독일 법률에 따라 구축돼 조직이 자체 서버에서 완전히 제어 가능하다. 전체 요약 12문장 읽기 → 017 09:11 ▲ 54 · 댓글 2 에이전트 학습 효율 높이는 'X-Tree' 알고리즘 개발 멀티스텝 에이전트를 학습할 때 기존 방식은 모든 액션 토큰을 동등하게 취급해 반복되는 부분 절차를 놓쳤다. AI · 머신러닝 · X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
Key Point 에이전트가 재사용 가능한 스킬을 가중치로 학습하면서 새로운 작업으로의 일반화 성능이 크게 향상되는 방식을 제시해, 멀티스텝 의사결정이 필요한 AI 시스템 개발에 실질적 개선을 가져온다.
핵심 요약
멀티스텝 에이전트를 학습할 때 기존 방식은 모든 액션 토큰을 동등하게 취급해 반복되는 부분 절차를 놓쳤다. 최근 에이전트들은 LLM이 문맥으로 작성한 스킬만 활용해 가중치에 반영되지 않아 새 상황에 일반화하지 못했다. 연구팀은 X-Tree(reusable eXperience tree) 기법으로 학습 데이터에서 계층 구조를 자동으로 복원했다. 전체 요약 9문장 읽기 → 018 06:11 ▲ 31 · 댓글 2 고해상도 3D 생성 비용 58% 줄인 위상 보존 기법 SILSA 고해상도 3D 모델 생성에서 기존 복셀 토큰 방식은 연속 표면을 많은 로컬 토큰으로 분할해 비용이 크고 얇거나 복잡하게 연결된 형태의 위상 일관성이 약하다. AI · 머신러닝 · SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation
Key Point 기존 3D 생성의 계산 병목을 슬라이싱 윈도우 방식으로 획기적으로 줄이면서 위상 일관성도 높인 구조이므로, 3D 생성 모델을 개발하거나 최적화하려는 개발자에게 실질적인 대안을 제시한다.
핵심 요약
고해상도 3D 모델 생성에서 기존 복셀 토큰 방식은 연속 표면을 많은 로컬 토큰으로 분할해 비용이 크고 얇거나 복잡하게 연결된 형태의 위상 일관성이 약하다. SILSA는 슬라이싱 윈도우로 3개 축(x·y·z)을 따라 겹치는 슬라이스 집합으로 모양을 표현해 이 문제를 해결하는 방식이다. 각 토큰이 로컬 깊이 윈도우를 요약해 단면 연속성을 유지하고 단일 단계 생성을 지원한다. 전체 요약 8문장 읽기 → 019 15:11 ▲ 35 · 댓글 2 고압축·고속학습 이미지생성 모델, DC-SAE 공개 이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. AI · 머신러닝 · DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence
Key Point 고압축 토크나이저는 대규모 이미지 생성 모델의 학습 효율을 좌우하는데, DC-SAE가 압축률과 학습 속도 양쪽을 동시에 개선하는 방법을 제시한다.
핵심 요약
이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. 기존 의미 기반 오토인코더는 중간 수준 압축에만 제한되고 픽셀 수준의 세부정보를 잃어 정확한 복원이 어렵다. DC-SAE는 의미 기반 인코더로 높은 압축을 가능하게 하고, 픽셀 수준 인코더로 저수준 세부정보를 보존한다. 전체 요약 6문장 읽기 → 020 03:11 새 버전 Transformers 5.18.0 출시, Nemotron·NemotronH Omni 등 신모델 추가 Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. AI · 머신러닝 · huggingface/transformers@v5.18.0
Key Point Transformers는 파이토치의 표준 NLP 라이브러리이며, 이 버전은 실시간 음성 처리, 멀티모달 추론, 분산 학습 최적화 등 프로덕션 환경의 여러 문제를 해결한다.
핵심 요약
Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. NemotronH Omni 멀티모달 추론 모델은 Mamba-Transformer 언어 모델에 RADIO 비전 인코더와 Parakeet 사운드 인코더를 결합하여 텍스트, 이미지, 비디오, 음성을 동시에 처리한다. HyperCLOVAX Vision V2는 NAVER가 개발한 멀티모달 모델로 Qwen2.5-VL 비전 인코더를 탑재하고 체인오브싱크 추론을 위한 thinking 토큰을 지원한다. 전체 요약 8문장 읽기 → 021 21:11 ▲ 109 · 댓글 23 극한 압축 언어모델을 마이크로컨트롤러 클러스터에서 구동 7개의 ESP32S3 마이크로컨트롤러를 클러스터로 연결해 0.5B 규모 1.58비트 BitNet 언어모델을 분산 실행하는 프로젝트다. 하드웨어 · 시스템 · ESP32S3 cluster running 1.58-bit (BitNet) Language model
Key Point 마이크로컨트롤러 클러스터에서 극저단계 양자화 모델을 실행하는 구체적인 분산 시스템 설계와 구현 사례를 보여줌으로써, 임베디드 환경에서 LLM 배포의 가능성을 확장한다.
핵심 요약
7개의 ESP32S3 마이크로컨트롤러를 클러스터로 연결해 0.5B 규모 1.58비트 BitNet 언어모델을 분산 실행하는 프로젝트다. 마스터 노드에서 BPE 토크나이저와 임베딩을 처리하고, 6개의 컴퓨트 노드에서 24개의 트랜스포머 블록을 4개씩 나눠 실행한다. SPI 데이지-체인 방식으로 노드 간 고속 통신하며, 마스터-노드 1-노드 2...노드 6-마스터 순환 파이프라인 구조로 동작한다. 전체 요약 7문장 읽기 → 022 22:45 당일 +166 C++로 만든 이미지 생성 엔진, Flux·Qwen 등 최신 모델까지 지원 stable-diffusion.cpp는 GGML 기반의 순수 C/C++ 구현으로 Stable Diffusion, Flux, Wan, Qwen Image 등 다양한 이미지·영상 생성 모델을 추론할 수 있는 경량 프레임워크다. AI · 머신러닝 · leejet/stable-diffusion.cpp · C++
Key Point 로컬 머신에서 최신 이미지·영상 생성 모델을 실행할 수 있는 경량 C++ 구현이 빠르게 성장하고 있으며, 모델 추가 속도가 빠르므로 개인 또는 온프레미스 AI 구축을 고려하는 개발자에게 선택지가 되고 있다.
핵심 요약
stable-diffusion.cpp는 GGML 기반의 순수 C/C++ 구현으로 Stable Diffusion, Flux, Wan, Qwen Image 등 다양한 이미지·영상 생성 모델을 추론할 수 있는 경량 프레임워크다. 외부 의존성이 없으며, 모델 무게 형식으로 PyTorch 체크포인트(.ckpt, .pth, .pt), Safetensors, GGUF를 지원하고 가중치를 .gguf나 .safetensors로 변환할 수 있다. CPU(AVX, AVX2, AVX512), CUDA, Vulkan, Metal, OpenCL, SYCL 백엔드를 지원하며 Linux, macOS, Windows, Android(Termux)에서 실행된다. 전체 요약 7문장 읽기 → 023 22:29 ▲ 16 · 댓글 3 토큰화 효율 높이는 기능 분해 방식 제안 기존 서브워드 토크나이저는 같은 단어의 대소문자·악센트 변형(hello, Hello, Héllo)을 서로 다른 어휘로 처리해 임베딩 공간이 파편화되거나, 정규화로 정보를 손실시킨다. AI · 머신러닝 · The Functionalizer: Lossless Functional Decomposition for Subword Tokenization
Key Point 같은 단어의 다양한 표기를 효율적으로 처리해 모델의 어휘 크기를 줄이고 코드 생성 정확도를 높이는 실질적 개선 방법이기 때문입니다.
핵심 요약
기존 서브워드 토크나이저는 같은 단어의 대소문자·악센트 변형(hello, Hello, Héllo)을 서로 다른 어휘로 처리해 임베딩 공간이 파편화되거나, 정규화로 정보를 손실시킨다. 논문은 직교 및 구조 변형을 함수형 분해로 처리하는 Functionalizer를 제안한다. 대문자화(CAPITALIZE), 발음 기호(13개 전용 옵코드), 문자 반복(REPEAT, MULTIREPEAT) 등의 가역 연산자를 사용해 유니코드 개인용 영역에 인코딩한 프리픽스 스트림으로 정규 기본 토큰 앞에 붙인다. 전체 요약 6문장 읽기 → 024 15:11 ▲ 32 · 댓글 3 이미지 생성 모델의 벡터 양자화 학습 안정성 개선 방법 자동회귀 및 마스킹 이미지 생성 모델의 기초가 되는 벡터 양자화(VQ) 토크나이저는 학습 과정이 불안정하다는 문제를 지적했다. AI · 머신러닝 · StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
Key Point 이미지 생성 모델의 핵심 컴포넌트인 벡터 양자화의 학습 불안정성을 해결하는 실무적 방법론을 제시하므로, 생성형 AI 모델 개발자와 연구자에게 즉시 적용 가능한 지침을 제공한다.
핵심 요약
자동회귀 및 마스킹 이미지 생성 모델의 기초가 되는 벡터 양자화(VQ) 토크나이저는 학습 과정이 불안정하다는 문제를 지적했다. 인코더-디코더와 코드북 학습이 얽혀 있어 두 모듈이 협력할 때만 작동하므로, 학습이 가중될수록 붕괴되는 취약함이 있다. StableVQ는 동적 STE를 통해 인코더의 학습 목표를 안정화하고, 리전 VQ 손실로 코드북이 독립적으로 전체 추적을 보장하며, 분리된 스케줄로 각 모듈이 별도의 학습률을 갖도록 한다. 전체 요약 5문장 읽기 → 025 21:11 당일 +503 금융 시장 전문 AI 모델 Kronos 오픈소스 공개 금융 캔들차트(K-line) 데이터 분석에 특화된 오픈소스 기초 모델 Kronos를 공개했습니다. 전 세계 45개 이상의 거래소 데이터로 사전 학습되었습니다. AI · 머신러닝 · shiyu-coder/Kronos · Python
Key Point 금융 시계열 분석에 특화된 첫 오픈소스 기초 모델로, 일반 시계열 모델과 달리 K-line 데이터의 독특한 특성을 처리하도록 설계되어 개인 트레이더와 정량 분석가들이 직접 활용할 수 있습니다.
핵심 요약
금융 캔들차트(K-line) 데이터 분석에 특화된 오픈소스 기초 모델 Kronos를 공개했습니다. 전 세계 45개 이상의 거래소 데이터로 사전 학습되었습니다. OHLCV 데이터를 계층적 이산 토큰으로 변환하는 전문화된 토크나이저와 자동회귀 트랜스포머로 구성되어 금융 데이터의 높은 노이즈 특성을 처리합니다. Kronos-mini(4.1M), Kronos-small(24.7M), Kronos-base(102.3M), Kronos-large(499.2M) 등 다양한 크기의 모델을 Hugging Face Hub에서 무료로 제공합니다. 전체 요약 5문장 읽기 → 026 21:11 당일 +140 토크나이저 없는 다국어 음성합성 VoxCPM2 공개 OpenBMB가 VoxCPM2를 출시했다. 토크나이저를 거치지 않고 직접 음성을 생성하는 2B 파라미터 모델으로, 200만 시간 이상의 다국어 음성 데이터로 학습됐다. AI · 머신러닝 · OpenBMB/VoxCPM · Python
Key Point 텍스트 설명만으로 음성을 만들고, 짧은 샘플로 목소리를 복제하며, 한 번에 48kHz 고품질 오디오를 생성하는 음성합성 기술이 오픈소스로 공개되어 개발자들이 자유롭게 활용할 수 있게 됐다.
핵심 요약
OpenBMB가 VoxCPM2를 출시했다. 토크나이저를 거치지 않고 직접 음성을 생성하는 2B 파라미터 모델으로, 200만 시간 이상의 다국어 음성 데이터로 학습됐다. 30개 언어를 지원하며 텍스트 설명만으로 새로운 음성을 만드는 음성 설계 기능, 짧은 음성 샘플로 목소리를 복제하는 제어 가능한 클로닝, 음성과 대본을 함께 제공하는 최고 품질 클로닝을 지원한다. 입력은 16kHz 음성을 받아 48kHz 스튜디오 품질 오디오로 출력하며, RTX 4090에서 RTF 0.3 수준의 실시간 스트리밍 속도를 달성한다. 전체 요약 4문장 읽기 →