쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
19건 · "자기회귀"조건 지우기 ×
001 18:11 ▲ 45 · 댓글 3 극도로 압축된 토큰으로 빠른 이미지 생성, 32배 압축에도 품질 유지 이산 자기회귀 모델은 토큰 수를 줄이면 생성 속도는 빨라지지만 표현 품질이 떨어지는 근본적 트레이드오프에 직면해 있다. AI · 머신러닝 · G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation
Key Point 극도로 압축된 토큰으로도 이미지 생성 품질을 유지하면서 20배 빠른 속도를 달성해, 대규모 시각 생성 모델의 실용적 배포 가능성을 크게 높였다.
핵심 요약
이산 자기회귀 모델은 토큰 수를 줄이면 생성 속도는 빨라지지만 표현 품질이 떨어지는 근본적 트레이드오프에 직면해 있다. 연구팀은 곱셈 양자화 기반으로, 고정된 정보량 예산에서 그룹 크기가 공간 압축 비율의 제곱에 비례해야 한다는 원리를 도출했다. 이를 토대로 G-STAR이라는 공간-그룹 동시 스케일링 프레임워크를 제안하여 32배, 심지어 64배 압축도 가능하게 하면서 재구성·이해·생성 성능을 보존한다. 전체 요약 6문장 읽기 → 002 15:10 ▲ 18 · 댓글 2 추론 속도 7배 끌어올리는 비동기 투기형 디코딩 D3D 기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다. AI · 머신러닝 · D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
Key Point LLM 추론 병목 해결과 실시간 AI 서비스 성능 향상에 직결되는 새로운 분산 처리 기법으로, 기존 투기형 디코딩 방식의 근본적인 대기 문제를 제거했습니다.
핵심 요약
기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다. D3D는 타겟 모델의 숨겨진 상태 없이 독립적으로 작동하는 확산 드래프터로, 블록 단위 노이징 제거와 보조 자기회귀 감독을 결합해 장기 수용 프리픽스를 달성한다. 이러한 독립성으로 D3D는 검증 중 후속 블록을 병렬로 드래프팅할 수 있어 비동기 투기형 디코딩을 가능하게 한다. 전체 요약 6문장 읽기 → 003 12:54 ▲ 173 · 댓글 16 텍스트-이미지 AI 모델, $21K로 학습 후 공개 2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다. AI · 머신러닝 · Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)
Key Point 작은 팀이 주요 클라우드 AI 회사와 비교할 수 없는 수준의 비용으로 실용적인 이미지 생성 모델을 만들고 공개했으며, 이는 확산 모델의 효율성 개선 방향을 보여준다.
핵심 요약
2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다. 모델은 2.42억 개의 파라미터(학습 시 포함)를 가진 확산 모델이며, 512²에서 1024² 해상도로 단계적으로 학습했고, Qwen 3.5-4B 텍스트 인코더를 사용한다. 기존 VAE 기반 압축 대신 픽셀 공간에서 직접 작업하고 32×32 토큰 압축으로 어텐션 컨텍스트 윈도우를 4배 축소했으며, 이전 모델보다 11배 적은 샘플로 수렴한다. 전체 요약 8문장 읽기 → 004 12:11 ▲ 10 · 댓글 5 기존 언어모델을 확산 모델로 변환하는 LoRA 기법 공개 자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. AI · 머신러닝 · BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
Key Point 확산 모델의 장점(병렬 토큰 업데이트, 유연한 생성)을 기존 오픈소스 언어모델에 저비용으로 적용하는 실용적 경로를 제시하며, 어댑터 학습만으로 대규모 재학습 없이 변환 가능함을 처음 증명했다.
핵심 요약
자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, Ministral 8B 등 4개 모델에 LoRA 어댑터만으로 확산 생성 기능을 추가했으며, Mistral 모델의 AR-to-DLM 변환은 처음 보고된 사례다. 어댑터는 최종 파라미터의 4.1-5.8%만 차지하며 기본 모델 파라미터는 모두 동결된 상태로 유지된다. 전체 요약 9문장 읽기 → 005 09:11 ▲ 167 · 댓글 21 생성형 AI의 수학적 기초를 다룬 입문서 출간 Tianhua Chen이 생성형 AI의 수학적 기초를 다루는 195페이지 분량의 입문서를 arXiv에 공개했다. AI · 머신러닝 · The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer
Key Point 생성형 AI를 체계적으로 학습하려는 개발자나 연구자에게 PCA부터 최신 모델까지 일관된 수학적 기초를 제공하는 교재가 생겼다는 점이 중요하다.
핵심 요약
Tianhua Chen이 생성형 AI의 수학적 기초를 다루는 195페이지 분량의 입문서를 arXiv에 공개했다. 이 책은 주요 생성 모델들(PCA, 확률적 PCA, 변분 오토인코더, 확산 모델, 정규화 흐름, 자기회귀 모델, GAN, Wasserstein GAN, 에너지 기반 모델)을 연결하는 일관된 경로를 제시한다. 도출 과정을 중심으로 구성되어 최근의 모든 아키텍처나 구현 세부사항을 다루기보다는 생성 모델링의 구조를 수학적 엄밀함을 잃지 않으면서 이해하기 쉽게 만드는 데 초점을 맞췄다. 전체 요약 6문장 읽기 → 006 18:11 ▲ 13 · 댓글 2 언어모델이 언어모델 개선을 학습하다 LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. AI · 머신러닝 · Language Models Learn to Improve Language Models
Key Point LLM이 AI 개발 프로세스를 자동으로 개선하는 능력을 갖추게 되면서 모델 개발 비용과 속도의 판도가 바뀔 수 있기 때문입니다.
핵심 요약
LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. 첫째, 강화학습으로 수만 개 제안을 평가하려면 수십만 GPU시간이 필요해 비용이 매우 크다. 둘째, 대리 피드백은 정책 최적화 과정에서 과대평가된 제안을 선호하면서 신뢰도가 떨어진다. 전체 요약 7문장 읽기 → 007 18:11 ▲ 15 · 댓글 2 StyleStream 2.0, 음성 스타일 변환 속도 2배 높이고 텍스트 제어 추가 StyleStream 2.0은 음성의 음색, 억양, 감정을 대상 화자에 맞춰 변환하면서 음성 내용을 보존하는 스트리밍 음성 스타일 변환 시스템이다. AI · 머신러닝 · StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion
Key Point 제로샷 음성 스타일 변환의 실시간성을 개선하고 자연어 기반 음성 설계·편집 기능을 추가해 음성 생성의 실용성과 제어 가능성을 크게 높였다.
핵심 요약
StyleStream 2.0은 음성의 음색, 억양, 감정을 대상 화자에 맞춰 변환하면서 음성 내용을 보존하는 스트리밍 음성 스타일 변환 시스템이다. 이전 버전인 StyleStream 1.0의 문제점을 해결했다: 소비자급 GPU에서 약 1초의 레이턴시를 520ms로 단축(2배 속도 개선)하고, 대상 음성을 설계·편집할 텍스트 기반 인터페이스를 추가했다. 레이턴시 감소를 위해 몇 단계의 픽셀 MeanFlow 모델을 학습하고 Self Forcing에서 영감을 받은 자기회귀 피드백으로 세부 조정하여 스트리밍 추론 견고성을 개선했다. 전체 요약 6문장 읽기 → 008 21:11 ▲ 104 · 댓글 36 금융 시장 데이터를 생성 모델로 합성할 수 있을까 Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. AI · 머신러닝 · Can you use autoregressive diffusion to generate market data?
Key Point 시장 데이터를 직접 합성하는 생성 모델은 기존의 포인트 추정 방식과 달리 시장 미시구조의 구체적 이벤트까지 재현할 수 있어, 량자펀드의 백테스팅과 리스크 시뮬레이션 방법을 근본적으로 바꿀 수 있는 가능성을 보여준다.
핵심 요약
Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. 기존 예측 모델과 달리 가격 뿐 아니라 주문 타이밍, 취소, 체결 같은 구체적 이벤트까지 합성하는 모델을 목표로 했다. 시장 데이터는 이산적(주문 추가/제거)이면서도 연속적(가격, 타이밍 같은 고차원 변수)인 혼합 특성을 갖고 있어 모델링이 복잡하다. 전체 요약 10문장 읽기 → 009 09:11 ▲ 10 · 댓글 2 음악 악보 변환 AI, 합성 데이터로 정확도 대폭 향상 음성을 악보로 변환하려면 리듬, 화성, 멜로디, 형식을 일관성 있게 이해해야 하는데 주석이 달린 녹음 부족과 부분 예측 오류 누적이 난제였다. AI · 머신러닝 · SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision
Key Point 음악 악보 자동 변환의 핵심 문제(학습 데이터 부족과 음악적 일관성)를 합성 데이터와 구조화된 디코딩으로 해결한 방법론이 멀티태스크 모델에서 전문 모델을 능가하는 성능을 입증했다.
핵심 요약
음성을 악보로 변환하려면 리듬, 화성, 멜로디, 형식을 일관성 있게 이해해야 하는데 주석이 달린 녹음 부족과 부분 예측 오류 누적이 난제였다. SheetSage2는 합성 데이터, 구조화된 디코딩, 자기회귀 증류를 통합한 음악 변환 모델로, MIDI를 음성으로 렌더링한 합성 데이터로 대규모 학습을 가능하게 한다. 작업별 구조화된 디코더가 음악 정보와 시간 의존성을 통합해 일관성 있는 악보를 생성한다. 전체 요약 6문장 읽기 → 010 18:30 ▲ 33 · 댓글 2 세계 모델에 소리를 더하는 'WorldSonus' 논문 공개 월드 모델이 생성한 시각적 환경에 실시간 공간음향을 합성하는 'WorldSonus' 프레임워크를 제시했다. AI · 머신러닝 · WorldSonus: Bringing Sound to Worlds
Key Point 기존 월드 모델은 시각만 생성했지만, WorldSonus는 실시간 상호작용형 공간음향 합성으로 생성 환경의 완전성을 한 단계 높였다.
핵심 요약
월드 모델이 생성한 시각적 환경에 실시간 공간음향을 합성하는 'WorldSonus' 프레임워크를 제시했다. 실시간 생성을 위해 스트리밍 인과 자기회귀 확산 구조를 사용해 RTF 0.41의 저지연으로 오디오 청크를 합성한다. 대화형 제어는 오디오 중심의 캡셔닝 파이프라인과 청크 인덱스 프롬프트 스케줄링으로 생성 도중 음향 이벤트를 동적으로 조작할 수 있다. 전체 요약 5문장 읽기 → 011 18:30 ▲ 94 · 댓글 2 로봇 실시간 제어, 영상 메모리 19초 활용하면 성공률 63→79% 로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다. AI · 머신러닝 · Long-WAM: Scaling the Context of World-Action Models
Key Point 로봇 제어에서 짧은 지연(107ms)로 19초 영상 메모리를 활용하면서 복잡한 조작 작업에서 대폭 높은 성공률을 달성한 실시간 배포 기술이기 때문이다.
핵심 요약
로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다. Long-WAM은 실시간 제어 제약 속에서 인과적 세계-행동 모델의 맥락을 확장하기 위한 모델-시스템 프레임워크이다. 핵심 발견: 긴 히스토리에 접근하는 것과 실제로 사용하는 것은 다르며, 비디오 기초 모델이 자기회귀(AR) 방식으로 사전학습될 때 더 큰 이득이 난다. 전체 요약 12문장 읽기 → 012 00:11 ▲ 11 · 댓글 2 예측 가능한 의미 토큰으로 영상 생성 가속화 최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. AI · 머신러닝 · SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Key Point 자동회귀 영상 생성에서 모델 크기 대비 성능 효율이 3배 이상 개선되면서, 비용 효율적인 고품질 영상 생성 시스템 구축이 가능해진다.
핵심 요약
최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. 기존 유연한 토크나이저들은 초기 디코더 숨김층에만 표현 정렬(REPA) 손실을 적용하는데, 디코더가 노이즈 입력에서 이를 부분적으로만 충족할 수 있다는 문제가 있다. SemanTok은 고정된 DINO 특징을 인코더에 입력하고 각 토큰 접두사에서 이들을 재구성하는 경량 헤드를 추가한 유연한 영상 토크나이저다. 전체 요약 6문장 읽기 → 013 12:11 ▲ 49 · 댓글 2 확산형 언어모델을 위한 텍스트 임베딩 최적화 자기회귀 모델의 대안으로 주목받는 확산 언어모델(DLM)은 연속 텍스트 임베딩의 잠재공간에서 생성을 수행한다. AI · 머신러닝 · Scaling and Distilling Text Embeddings for Better Diffusibility
Key Point 확산형 언어모델이 자기회귀 방식의 성능에 접근하기 위해서는 어떤 임베딩 공간이 최적인지 밝혀지지 않았는데, 이 연구가 스케일링과 증류 기법으로 그 해답을 제시한다.
핵심 요약
자기회귀 모델의 대안으로 주목받는 확산 언어모델(DLM)은 연속 텍스트 임베딩의 잠재공간에서 생성을 수행한다. 연구팀은 T5 계열 임베딩을 T5Gemma-1, T5Gemma-2로 확대했을 때 생성 성능이 크게 향상됨을 발견했다. 그러나 T5Gemma-2는 너무 판별력이 강해서 유사한 단어들의 임베딩까지 멀리 떨어져 있어, 샘플링 오류 시 유효한 임베딩을 찾지 못하는 문제가 발생한다. 전체 요약 7문장 읽기 → 014 12:11 ▲ 79 · 댓글 2 토큰 독립성 문제 해결한 계층형 연속 확산 언어모델 이산 확산 언어모델은 양방향 추론과 전역 제약 만족이 필요한 작업에서 자기회귀 생성의 대안이 되지만, 병렬 디코딩 시 각 토큰을 독립적으로 샘플링하면서 토큰 간 통계적 의존성을 끊는 구조적 병목을 공유한다. AI · 머신러닝 · Hierarchical Continuous Diffusion Language Models
Key Point 병렬 디코딩에서 토큰 간 의존성을 보존하면서도 전역 제약을 만족시키는 방식으로 확산 언어모델의 핵심 구조적 문제를 해결했기에, 생성 모델의 근본적인 설계 변화로 관심을 끈다.
핵심 요약
이산 확산 언어모델은 양방향 추론과 전역 제약 만족이 필요한 작업에서 자기회귀 생성의 대안이 되지만, 병렬 디코딩 시 각 토큰을 독립적으로 샘플링하면서 토큰 간 통계적 의존성을 끊는 구조적 병목을 공유한다. 연속 확산 언어모델은 공유 연속 상태를 노이징하여 이를 피하지만, 노이저가 그 상태만 보므로 최종 디코딩까지 유효한 토큰 구성과의 연결고리가 없다. HC-DLM(Hierarchical Continuous Diffusion Language Models)은 이산 토큰 생성과 연속 잠재 궤적을 단일의 원칙적인 노이징 제거 과정으로 결합하며, 훈련 목적은 토큰 우도에 대한 변분 경계에서 유도된다. 전체 요약 6문장 읽기 → 015 03:11 ▲ 184 · 댓글 63 클라우드플레어, 의사결정 특화 AI 모델 Clef 공개 클라우드플레어가 Jev Decision Index에서 1위를 차지한 의사결정 모델 Clef와 Clef-flash를 공개했고, 두 모델 모두 Apache 2.0 라이선스로 오픈소스화해 Hugging Face에서 배포 중이다. AI · 머신러닝 · Clef: Open-source decision models, and new RL fine-tuning platform
Key Point LLM의 비결정성과 느린 토큰 생성을 대체해 프로덕션 에이전트 워크플로우에서 실시간 의사결정이 필요한 개발자들에게 구체적인 선택지를 제공하며, 오픈소스 배포와 미세조정 플랫폼으로 커스터마이징 가능성을 연다.
핵심 요약
클라우드플레어가 Jev Decision Index에서 1위를 차지한 의사결정 모델 Clef와 Clef-flash를 공개했고, 두 모델 모두 Apache 2.0 라이선스로 오픈소스화해 Hugging Face에서 배포 중이다. 의사결정 모델은 입력에 따라 확률과 함께 타입이 지정된 구조화 출력을 생성해 에이전트가 자동으로 판단하고 실행하도록 돕는데, 예를 들어 고객 지원 메시지를 받아 긴급도와 담당팀을 분류한다. Clef는 이미지 분류도 가능한 비전 인코더를 갖춰 Jev(텍스트 분류만 지원)와 다르며, 64k 컨텍스트 윈도우(Jev는 32k)로 더 많은 입력을 처리할 수 있다. 전체 요약 12문장 읽기 → 016 18:11 ▲ 27 · 댓글 2 비디오 생성 모델로 로봇 팔 스스로 학습하게 하다 로봇이 새로운 작업을 배울 때 전문가 시연 데이터 없이 학습하는 문제를 다룬다. AI · 머신러닝 · EVO-WAM: Evolving World Action Models through Video-Action Verification
Key Point 시뮬레이션과 실제 환경 모두에서 로봇 정책 적응 성공률을 2.5배 이상 높이는 새로운 방식이 필요한 상황에서, 외부 데이터 수집 없이 모델 자체의 피드백 루프로 학습하는 접근법을 제시한다.
핵심 요약
로봇이 새로운 작업을 배울 때 전문가 시연 데이터 없이 학습하는 문제를 다룬다. 월드 액션 모델(WAM)은 비디오와 행동을 함께 예측해 작업 적응의 감독 신호로 쓰이지만, 생성된 영상이 작업 완료를 보여주지 못하거나 영상-행동 불일치로 실행 실패가 발생한다. EVO-WAM은 외부 환경 실행 없이 자체 생성 비디오-행동 궤적으로부터 학습해 WAM을 적응시킨다. 전체 요약 8문장 읽기 → 017 21:11 ▲ 15 · 댓글 1 비디오 세계 모델에 실시간 편집 기능 추가한 EditWorld EditWorld는 생성형 가상 세계에서 precise editing과 유연한 참조 이미지 활용을 지원하는 비디오 world model이다. AI · 머신러닝 · Precise Editing and Flexible Referencing for Interactable Worlds
Key Point video world model이 탐색에서 한 단계 나아가 사용자가 생성된 세계를 직접 편집하고 조작할 수 있는 수준에 도달했으며, 실시간 스트리밍 방식의 편집 지원이 새로운 접근 방식을 제시한다.
핵심 요약
EditWorld는 생성형 가상 세계에서 precise editing과 유연한 참조 이미지 활용을 지원하는 비디오 world model이다. 기존 video world model은 주로 탐색에만 초점을 맞췄으나, EditWorld는 생성 과정 중 편집 지시사항과 참조 이미지를 스트리밍 방식으로 받아 기존 콘텐츠의 정확한 수정을 가능하게 한다. 시간에 따라 변하는 편집 조건과 참조 이미지를 처리하기 위해 Gated Causal Attention 메커니즘을 도입했고, 장시간 추론 시 컨텍스트 크기를 제한하는 Sparse Context 메커니즘을 함께 적용했다. 전체 요약 6문장 읽기 → 018 18:11 ▲ 25 · 댓글 2 실시간 응답하면서 긴 시간 일관성 유지하는 세계 모델 공개 실시간 대응과 장기간 일관성을 동시에 달성해야 하는 인터랙티브 월드모델에서, 다양한 제어 신호 처리와 맥락 폭증, 불안정한 증류가 핵심 과제였다. AI · 머신러닝 · WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon
Key Point 대규모 언어 모델 기반 세계 모델이 실시간 제어 응답과 장시간 예측의 두 가지 모순된 요구를 동시에 만족시켜야 하는 상황에서, 기술적 혁신을 통해 두 가지 성능을 모두 달성하는 방법론을 제시하기 때문이다.
핵심 요약
실시간 대응과 장기간 일관성을 동시에 달성해야 하는 인터랙티브 월드모델에서, 다양한 제어 신호 처리와 맥락 폭증, 불안정한 증류가 핵심 과제였다. WorldPlay2는 분해된 하이브리드 제어 인터페이스와 압축 메모리·안정적 증류의 결합을 통해 이 문제를 해결한다. 제어 인터페이스는 프레임 정렬 액션 제어와 구조화된 의미적 제어를 통합해 장면 모양, 캐릭터 정체성, 동적 의미 이벤트를 명시적으로 분리함으로써 효과적 학습을 지원한다. 전체 요약 7문장 읽기 → 019 09:10 ▲ 100 · 댓글 9 2026년 AI 추론이 주도권 잡으며 전용 칩 전쟁 시작 AI는 2020년 이후 대규모 모델 학습에만 집중했으나, 2026년 추론이 핵심 과제로 급부상했다. AI · 머신러닝 · The Inference Hardware Revolution of 2026
Key Point 기존 학습 중심의 AI 인프라 전략이 완전히 뒤바뀌고 있으며, 추론 전용 하드웨어가 새로운 경쟁 구도를 만들고 있기 때문이다.
핵심 요약
AI는 2020년 이후 대규모 모델 학습에만 집중했으나, 2026년 추론이 핵심 과제로 급부상했다. 추론형 AI 모델과 에이전트 AI 확산으로 인해 추론 수요가 폭발적으로 증가했고, 일부 고추론 모델은 저추론 모델 대비 20배 이상의 텍스트를 생성한다. 학습과 추론은 계산 방식이 완전히 다르다: 학습은 역전파로 매개변수를 갱신하지만, 추론은 이전 토큰의 모든 가중치와 문맥을 반복 읽어야 하는 자기회귀 방식이다. 전체 요약 4문장 읽기 →