쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
59건 · "자동회귀"조건 지우기 ×
001 21:11 ▲ 13 · 댓글 3 하이브리드 어텐션으로 텍스트-이미지 동시 이해·생성하는 유니스파크 UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다. AI · 머신러닝 · UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation
Key Point 텍스트 생성과 이미지 생성을 동시에 처리하는 통합 모델의 새로운 아키텍처 접근법으로, 다양한 멀티모달 작업에서 하이브리드 어텐션의 효과를 검증한다.
핵심 요약
UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다. 각 브랜치에 약 9B 파라미터를 가진 Mixture-of-Transformer-Experts 백본을 기반으로 하며, 명시적 토큰 상호작용을 위한 전체 어텐션과 컨텍스트 전파를 위한 GatedDeltaNet 선형 어텐션을 결합한다. 자동회귀 텍스트 예측과 시각 흐름 매칭이 시각 질문 응답, 텍스트-이미지 생성, 지시 기반 편집, 인터리브 텍스트-이미지 예측을 지원한다. 전체 요약 8문장 읽기 → 002 15:11 ▲ 51 · 댓글 3 운전 시뮬레이션의 정확성을 높이는 BirdDreams 논문 자율주행 시뮬레이션을 위한 세계 모델은 주행자 행동에 따른 장면 변화를 예측해야 하는데, 정적 레이아웃에만 의존하는 기존 방식의 한계가 있다. AI · 머신러닝 · BirdDreams: Joint Perspective and BEV Video Generation for a Plausible, Reactive Driving World Model
Key Point 자율주행 시뮬레이션에서 현실적인 장면 재구성은 필수이며, 정적 레이아웃 대신 미래 배치를 예측하는 이 접근법은 자동차의 정확한 제어와 주변 객체의 자연스러운 운동 생성을 동시에 달성하는 새로운 방식이다.
핵심 요약
자율주행 시뮬레이션을 위한 세계 모델은 주행자 행동에 따른 장면 변화를 예측해야 하는데, 정적 레이아웃에만 의존하는 기존 방식의 한계가 있다. BirdDreams는 1인칭 시점 영상과 조감도(BEV) 영상을 함께 생성하는 자동회귀 모델로, 미래 장면의 레이아웃을 예측의 일부로 만든다. BEV는 도로와 차량을 간단한 형태로 일정 스케일로 표시해 위에서 본 위치와 동작을 명확히 보여주고, 정적 시점은 신호등과 물체 외형 같은 세부 정보를 담는다. 전체 요약 8문장 읽기 → 003 00:11 ▲ 34 · 댓글 4 추론 메모리 4배 줄이는 KV 캐시 압축 기법 LowRAM 생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다. AI · 머신러닝 · LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Key Point LLM 추론 시 가장 큰 메모리 병목인 KV 캐시를 4배 이상 압축하면서 성능을 유지하는 방법으로, 배치 크기 확대와 처리량 증대에 직결된다.
핵심 요약
생성형 AI의 자동회귀 디코딩은 KV 캐시 메모리가 컨텍스트 길이에 선형으로 증가해 배치 크기와 처리량을 제한한다. 논문은 각 어텐션 헤드 내에서 밸류(Value)가 키(Key)로부터 대부분 예측 가능하다는 새로운 압축 축을 제시한다. 밸류 캐시 상각화 기법은 헤드별 경량 예측기를 추론 시점에 피팅하고 예측 오류가 큰 토큰의 잔차만 저장해 4배 무손실에 가까운 압축을 달성한다. 전체 요약 8문장 읽기 → 004 21:11 ▲ 111 · 댓글 14 텍스트 생성 21배 빨라지는 단계형 모델링 기법 디퓨전 언어 모델은 자동회귀 모델보다 빠른 병렬 샘플링을 제공하지만, 샘플링 단계가 적을수록 품질이 급격히 떨어지고 매번 전체 시퀀스를 처리하며 학습 속도가 느린 문제가 있다. AI · 머신러닝 · Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
Key Point 대규모 모델 추론의 병목인 생성 속도를 10배 이상 높이면서 품질을 유지하는 기법이 나왔으므로, LLM 배포와 실시간 서비스에 영향을 줄 수 있다.
핵심 요약
디퓨전 언어 모델은 자동회귀 모델보다 빠른 병렬 샘플링을 제공하지만, 샘플링 단계가 적을수록 품질이 급격히 떨어지고 매번 전체 시퀀스를 처리하며 학습 속도가 느린 문제가 있다. Next-Concept Modeling(NCM)은 2단계 코스-투-파인 프레임워크로, 다중 스케일 VQ-VAE가 텍스트를 이산 코드의 계층으로 인코딩하고 트랜스포머가 각 단계마다 한 수준씩 병렬로 생성한다. LM1B 벤치마크에서 NCM은 가장 강력한 디퓨전 모델보다 나은 생성 복잡도를 달성하면서 21배 빠르게 동작한다. 전체 요약 5문장 읽기 → 005 15:10 ▲ 106 · 댓글 1 로봇 계획 25배 빠르게, 비전 모델의 구조 활용한 VFlash 로봇, 자율주행 같은 물리 AI 작업에서 비전-랭귀지 모델은 좌표·궤적 같은 시각적 계획을 통해 공간상 목표를 표현하고 움직임을 예측한다. AI · 머신러닝 · VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding
Key Point 로봇의 시각 계획 생성 속도를 획기적으로 높이면서도 정확도까지 향상시키는 기법으로, 물리 AI 시스템의 실시간 제어 가능성을 크게 높인다.
핵심 요약
로봇, 자율주행 같은 물리 AI 작업에서 비전-랭귀지 모델은 좌표·궤적 같은 시각적 계획을 통해 공간상 목표를 표현하고 움직임을 예측한다. 기존 자동회귀 모델은 이런 시각 원시요소를 토큰 하나씩 생성하기 때문에 예측이 복잡할수록 비용이 급증한다. VFlash는 Flash Primitive Decoding 기법으로 시각 원시요소의 구조를 활용, 경량 드래프터가 전체 원시요소를 한 번의 순전파로 예측한다. 전체 요약 8문장 읽기 → 006 15:10 ▲ 22 · 댓글 3 선택지 제시 후 즉시 판단하는 'Drex' 의사결정 모델 공개 기존 자동회귀 방식의 LLM은 높은 정확도를 보이지만 답변 일관성이 떨어지고 출력 파싱이 필요하며 비용과 지연이 큽니다. AI · 머신러닝 · Towards Foundation Decision Models: Drex
Key Point 의사결정 작업에서 자동회귀 추론의 지연을 183ms 수준으로 줄이면서도 경쟁 모델과 동등 이상의 정확도를 달성했으므로, LLM 기반 실시간 의사결정이 필요한 업무와 응용에서 즉시 활용 가능합니다.
핵심 요약
기존 자동회귀 방식의 LLM은 높은 정확도를 보이지만 답변 일관성이 떨어지고 출력 파싱이 필요하며 비용과 지연이 큽니다. Decision Models는 이를 해결하기 위해 질문과 선택지를 받아 자동회귀 디코딩 없이 선택지 확률 분포를 바로 반환합니다. Hugging Face는 Drex라는 의사결정 모델 4개 계열을 공개했습니다: 8B(DLM), 9B(v1.5), 35B 3개 활성(v2.0), 27B(Max) 파라미터 모델입니다. 전체 요약 11문장 읽기 → 007 12:54 ▲ 10 · 댓글 2 로봇 시뮬레이터 PrimeSim 공개, 30110시간 데이터로 학습 로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. AI · 머신러닝 · PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
Key Point 대규모 크로스-플랫폼 로봇 데이터로 학습한 첫 일반화된 월드 모델이 공개되어, 로봇 제어와 시뮬레이션 연구 진행 속도가 크게 높아질 것으로 예상된다.
핵심 요약
로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. 22개 로봇 플랫폼의 30,110시간 데이터로 미드트레이닝했고, 통합 크로스-임보디먼트 액션 표현과 프레임 정렬 듀얼-패스 컨디셔닝을 도입해 동작 추적 정확도를 개선했다. 뷰-어웨어 인터리브드 어텐션 메커니즘을 개발해 명시적 카메라 ID를 사용하며 카메라 간 정보 교환을 유지하면서도 뷰별 표현을 보존한다. 전체 요약 7문장 읽기 → 008 03:11 ▲ 15 · 댓글 2 추측 디코딩 성능 41% 높이는 병렬 온폴리시 디스틸레이션 기법 LLM 추론을 가속화하는 추측 디코딩(SD)은 병렬 초안 생성으로 한 번의 포워드 패스에서 여러 토큰을 예측하지만, 전체 속도는 여전히 채택 길이(acceptance length)에 좌우된다. AI · 머신러닝 · SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
Key Point 추측 디코딩의 병렬화와 감독 신호 수집 방식을 근본적으로 개선해 LLM 추론 속도를 획기적으로 높일 수 있는 기술이다.
핵심 요약
LLM 추론을 가속화하는 추측 디코딩(SD)은 병렬 초안 생성으로 한 번의 포워드 패스에서 여러 토큰을 예측하지만, 전체 속도는 여전히 채택 길이(acceptance length)에 좌우된다. 온폴리시 디스틸레이션(OPD)은 훈련된 초안 생성기를 채택 길이 한계 이상으로 끌어올릴 수 있으나, 기존 방식은 순차적인 초안-검증 롤아웃을 통해 감독 신호를 수집한다. 본 논문의 핵심 아이디어는 온폴리시 감독 신호가 이 순차 의존성을 벗을 수 있다는 것이다: 초안 블록은 참조 접두사와 초안으로 샘플링한 이력만으로도 감독될 수 있다. 전체 요약 8문장 읽기 → 009 15:11 ▲ 74 · 댓글 2 긴 영상도 한 번에, 다중 장면 편집 프레임워크 MoviEdit 공개 Hugging Face와 연구진이 장편 다중 장면 비디오 편집을 위한 MoviEdit 프레임워크를 발표했습니다. AI · 머신러닝 · MoviEdit: Long-form Multi-Shot Video Editing Made Easy
Key Point 장편 영상의 다중 장면 편집을 자동화하는 기술로, 영상 제작 팀의 작업 효율을 크게 높일 수 있으며 오픈소스로 공개되어 개발자가 활용할 수 있습니다.
핵심 요약
Hugging Face와 연구진이 장편 다중 장면 비디오 편집을 위한 MoviEdit 프레임워크를 발표했습니다. 기존 단일 장면 편집과 달리 장면 전환, 카메라 각도, 피사체 모습의 급격한 변화 속에서도 편집 의도를 일관되게 유지해야 한다는 도전 과제를 해결합니다. 다중 시점 동기화 영상, 실제 다중 장면 비디오, 생성된 콘텐츠로부터 87K개의 쌍을 이루는 편집 비디오 데이터세트를 수동 작업 없이 자동 생성했습니다. 전체 요약 6문장 읽기 → 010 12:11 ▲ 18 · 댓글 1 과거 정보로 일관성 높인 장시간 영상 생성 모델 적은 단계의 자동회귀 비디오 확산 모델은 효율적인 생성이 가능하지만, 피사체나 장면이 화면 밖에 나갔다 다시 등장할 때 일관성을 유지하기 어렵다. AI · 머신러닝 · History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
Key Point 긴 장면에서도 일관성 있는 영상을 생성하는 것이 영상 AI 모델의 핵심 과제인데, 이 논문이 제시한 History Forcing 방법이 화면 밖 재등장이나 60초 롱폼 생성에서 구체적 성능 개선을 이뤄냈기 때문이다.
핵심 요약
적은 단계의 자동회귀 비디오 확산 모델은 효율적인 생성이 가능하지만, 피사체나 장면이 화면 밖에 나갔다 다시 등장할 때 일관성을 유지하기 어렵다. 기존 증류 방법들은 역사적 정보를 충분히 활용하지 못해 학생 모델의 현재 예측을 제약하지 못한다는 한계가 있다. 이를 해결하기 위해 History Forcing이라는 통합 온폴리시 증류 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 011 00:11 ▲ 15 · 댓글 2 작은 의사결정 모델, 큰 언어모델 앞지르다 의사결정 모델은 구조화된 작업에서 선택지나 점수를 직접 예측해 자동회귀 디코딩 지연을 피하지만, 생성형 LLM의 순위 매김 지식을 이전하기는 어렵다. AI · 머신러닝 · DecisionRank: On-Policy Distillation for Decision-Model Rerankers
Key Point 구조화된 검색 작업에서 작은 모델이 큰 모델 수준의 성능을 크게 빠른 속도로 달성하는 방법이 나왔기 때문에, 정보 검색 시스템의 효율성이 크게 개선될 가능성이 있다.
핵심 요약
의사결정 모델은 구조화된 작업에서 선택지나 점수를 직접 예측해 자동회귀 디코딩 지연을 피하지만, 생성형 LLM의 순위 매김 지식을 이전하기는 어렵다. 의사결정 모델(학생)은 첫 토큰 위치의 점수로 순위를 정하는 반면 생성형 교사는 문서 ID 수열의 순위 목록으로 선호도를 표현하기 때문이다. DecisionRank는 항목 공간 정책상 증류(item-space OPD) 기법으로 학생 모델을 학습한다. 전체 요약 7문장 읽기 → 012 15:11 ▲ 122 · 댓글 6 실시간 장편 영상 생성 위해 '웨이브 포싱' 기법 제시 실시간 장편 영상 생성을 위해 Wave Forcing(WF) 기법을 제안했다. 기존 청크 단위 자동회귀 방식은 직렬화된 노이즈 제거와 캐시 갱신으로 인해 한 단계 노이즈 제거에도 두 번의 순전파가 필요했다. AI · 머신러닝 · Wave Forcing: Towards Speed-of-Light Streaming Video Generation
Key Point 실시간 장편 영상 생성의 핵심 병목인 순차 처리 방식을 병렬화로 해결하는 구체적 기법이 제시되었고, 7배 이상의 성능 향상을 실현한 점이 주목된다.
핵심 요약
실시간 장편 영상 생성을 위해 Wave Forcing(WF) 기법을 제안했다. 기존 청크 단위 자동회귀 방식은 직렬화된 노이즈 제거와 캐시 갱신으로 인해 한 단계 노이즈 제거에도 두 번의 순전파가 필요했다. WF는 청크별 인과 주의 메커니즘으로 노이즈 제거가 완료되기 전 더 깨끗한 과거 청크에 먼저 접근하고, 엇갈린 노이즈 제거와 캐시 갱신 단계를 모델 복제본들에 분산시켜 파이프라인 충전 후 한 번의 순전파 라운드마다 하나의 출력 청크를 생성한다(1F1C). 모델을 연속 생성 프로세스에 적응시키기 위해 혼합 노이즈 노이즈 제거, 움직임 감독, 자체 생성 히스토리를 이용한 인과 적응을 순차적으로 도입하는 3단계 훈련 절차를 개발했다. 전체 요약 7문장 읽기 → 013 18:11 ▲ 23 · 댓글 2 단일 이미지에서 애니메이션 가능한 스타일 헤어 생성 게임과 아바타의 캐릭터 머리카락은 아티스트가 배치한 리본 모양의 헤어 카드로 구성되며, 스프링 본으로 애니메이션된다. AI · 머신러닝 · HairDeck: Animation-Ready Stylized Hair Cards from a Single Image
Key Point 게임 캐릭터와 아바타의 머리카락을 제작하는 과정에서 기존 방식보다 정확하고 빠르게 애니메이션 가능한 자산을 생성할 수 있는 새로운 접근 방식을 제시한다.
핵심 요약
게임과 아바타의 캐릭터 머리카락은 아티스트가 배치한 리본 모양의 헤어 카드로 구성되며, 스프링 본으로 애니메이션된다. 기존 이미지 기반 방법들은 사실적인 머리카락이나 단일 메시만 생성했고, CHARM은 유일한 스타일 헤어 카드 생성기이지만 제어점을 자동회귀로 긴 수열로 디코딩했다. 헤어 카드 스타일이 아티스트 정의 요소의 순서 없는 집합이라는 점에 착안하여 HairDeck을 제안한다. 전체 요약 7문장 읽기 → 014 18:11 ▲ 33 · 댓글 2 엔비디아, 시각·생성 통합한 확산 언어모델 공개 엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. AI · 머신러닝 · Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation
Key Point 단일 모델에서 시각 이해와 생성을 모두 처리하고자 하는 개발자들에게 새로운 아키텍처와 훈련 방법이 어떻게 여러 작업에 동시에 최고 성능을 달성했는지 보여준다.
핵심 요약
엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. 기존 확산 모델과 달리 자동회귀 VLM의 이해 능력과 연속 흐름 모델의 생성 능력을 교차 패러다임 온-정책 증류(OPD)로 통합했다. 훈련 시 이미지 토큰을 마스크로 직접 손상시키는 기존 방식 대신, 여러 단계에 걸쳐 각 토큰을 점진적으로 손상시키는 자가-정제 확산 프로세스를 도입했다. 전체 요약 5문장 읽기 → 015 12:11 ▲ 46 · 댓글 2 확산 언어 모델의 추측 디코딩 가속화 기법 SPOT 제안 확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다. AI · 머신러닝 · On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
Key Point 확산 언어 모델의 속도 문제를 해결하는 새로운 추측 디코딩 기법으로, 토큰 위치 순서 예측이라는 핵심 인사이트를 통해 정확성을 유지하면서 6배 이상의 가속화를 달성했으며, 학습된 드래프터가 여러 모델에 전이 가능해 실용성이 높다.
핵심 요약
확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다. 정확한 디코딩은 모델 패스당 하나의 마스킹된 위치만 채우고, 빠른 멀티토큰 디코딩은 품질 손실이 발생한다. 추측 디코딩은 자동회귀 모델의 표준 가속 기법이지만 DLM에 직접 적용되지 않는데, DLM은 무엇을 생성할지뿐 아니라 어디에 생성할지를 선택해야 하기 때문이다. 전체 요약 11문장 읽기 → 016 15:11 ▲ 57 · 댓글 2 음성·음악을 입체음향으로 생성·편집하는 AMBIT 프레임워크 공간 음향 제작을 위해 음원 배치와 입체음향 합성을 통합하는 AMBIT 프레임워크를 제안했다. AI · 머신러닝 · Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion
Key Point 입체음향 생성과 편집을 자동으로 처리하는 통합 프레임워크로, 음성 콘텐츠 제작과 방송·게임·VR 음향 설계에 직접 활용할 수 있기 때문이다.
핵심 요약
공간 음향 제작을 위해 음원 배치와 입체음향 합성을 통합하는 AMBIT 프레임워크를 제안했다. 음원의 콘텐츠·활동·3D 궤적을 지정하는 ScenePlan을 실행 가능한 형태로 만들고, 자동회귀 계획과 정류 흐름 기반 렌더링을 Transfusion 백본으로 통합했다. 편집 작업 시 계획은 보존할 음원을 포함한 전체 목표 장면을 명시하며, 대조적 특징으로 변경 요청을 정의하고 참조 음성의 레이턴트로 음향 세부사항을 보존한다. 전체 요약 6문장 읽기 → 017 21:11 ▲ 116 · 댓글 61 LLM의 신뢰도 점수는 신뢰할 수 없다 LLM에 신뢰도 점수를 요청하면 번호는 주지만, 그 숫자를 신뢰할 이유가 없다. AI · 머신러닝 · Using LLM for confidence scoring is a bad idea
Key Point LLM이 생성한 신뢰도 점수는 단순 텍스트 생성일 뿐 실제 확률을 반영하지 않으므로, AI 에이전트의 신뢰성을 검증해야 하는 개발자들이 알아야 할 근본적인 한계다.
핵심 요약
LLM에 신뢰도 점수를 요청하면 번호는 주지만, 그 숫자를 신뢰할 이유가 없다. 신뢰도란 예측이 얼마나 정확한지를 나타내는데, 이는 과거 정보와 현재 증거를 바탕으로 한 계산이어야 한다. 신뢰도 점수의 정확성은 같은 조건의 많은 사례에서 예측 확률과 실제 발생률이 일치하는지(보정도)로만 측정할 수 있다. 전체 요약 9문장 읽기 → 018 15:11 ▲ 158 · 댓글 2 자동회귀 동영상 생성에 미래 청크 예측 더하기 자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. AI · 머신러닝 · Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
Key Point 자동회귀 비디오 생성에서 시간적 진화를 제대로 모델링하는 훈련 기법이 기존 방식보다 적은 계산량으로 물리적 타당성을 높이는 방법을 제시했다.
핵심 요약
자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. 교사 강제(teacher forcing) 훈련에서 강한 시간적 중복성이 로컬 시각 연속성을 지름길 삼아 실제 시각 진화 모델링 압력을 감소시킨다. 연구팀은 Future Chunk Prediction(FCP)라는 보조 목표함수를 제시했으며, 이는 교사 강제 디노이징과 함께 학습된다. 전체 요약 7문장 읽기 → 019 03:11 ▲ 12 · 댓글 2 효율적인 흐름 모델로 LLM 병렬 생성 실현 연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다. AI · 머신러닝 · Large Flow Language Models
Key Point 병렬 생성과 더 빠른 추론이 가능한 흐름 모델이 대규모 언어 모델에서 실질적으로 작동하는 것을 처음 입증했으며, 기존 자동회귀 모델보다 2.5배 빠른 처리 속도로 같은 품질을 낸다는 점이 생성 AI 구조의 근본적 전환을 시사한다.
핵심 요약
연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다. 라파(Lafa)는 80억 개 매개변수 규모의 흐름 언어 모델로, 30B 토큰 미만으로 학습되어 이전 확산 모델보다 효율적이다. 블록 단위 흐름 모델 설계로 접두사에는 인과 관계 어텐션, 각 블록 내에는 양방향 비동기 흐름을 적용한다. 전체 요약 10문장 읽기 → 020 18:11 ▲ 25 · 댓글 2 LLM 활용해 3D 부품 조립 성능 대폭 향상 3D 부품 조립은 분해된 부품들에서 전체 형태를 복원하기 위해 각 부품의 rigid SE(3) 변환을 예측하는 과제다. AI · 머신러닝 · LLM2R: From Large Language Models to 3D Reassemblers
Key Point 대규모 부품을 가진 3D 조립 작업에서 기존 방식의 확장성 문제를 LLM 기반 접근으로 근본적으로 해결하고, 복잡한 기하학적 추론을 단일 forward pass로 처리할 수 있는 새로운 가능성을 제시한다.
핵심 요약
3D 부품 조립은 분해된 부품들에서 전체 형태를 복원하기 위해 각 부품의 rigid SE(3) 변환을 예측하는 과제다. 기존 방식은 부품 쌍의 관계에 의존하거나 반복 생성-검증을 사용해 많은 부품을 가진 물체에서 확장성이 떨어진다. LLM2R은 부품 조립을 sequence modeling 문제로 재정의하며 사전학습된 decoder-only LLM을 활용한다. 전체 요약 10문장 읽기 → 021 18:11 ▲ 22 · 댓글 2 추론 모델의 병렬 수정 기법, Draft Refinement 제안 추론 모델이 반복적으로 각 의사결정을 수정할 때, 개별적으로 타당한 토큰 업데이트가 전체 답변의 질을 보장하지 못한다는 문제를 제시한다. AI · 머신러닝 · Breaking Diffusion: Parallel Reasoning with Draft Refinement
Key Point 추론 모델에서 토큰 단위 수정을 병렬로 처리하면서도 평가의 정확성을 높이는 새로운 메커니즘을 제시해, 복잡한 문제 해결에서 계산 효율과 정확도를 동시에 개선할 수 있음을 보여준다.
핵심 요약
추론 모델이 반복적으로 각 의사결정을 수정할 때, 개별적으로 타당한 토큰 업데이트가 전체 답변의 질을 보장하지 못한다는 문제를 제시한다. Draft Refinement Language Models(DRLMs)는 단일 denoiser를 사용해 병렬 수정안을 제안하고 후보 초안을 평가하는 방식을 도입했다. Denoiser는 균등하게 손상된 초안에서 모든 토큰을 복원하도록 학습되어 보존과 수리 능력을 모두 갖춘다. 전체 요약 8문장 읽기 → 022 12:11 ▲ 11 · 댓글 2 자기 재귀로 멀티토큰 예측 효율화한 ECHO 논문 기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. AI · 머신러닝 · ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
Key Point 자동회귀 언어 모델의 학습과 추론 효율성을 동시에 높이는 핵심 알고리즘 개선으로, 기존 멀티토큰 예측의 구조적 문제를 근본적으로 해결한다.
핵심 요약
기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. ECHO는 백본의 최종 레이어 자체가 모든 예측 스텝을 담당하므로 감독 신호가 다음 토큰을 생성하는 매개변수에 직접 전달된다. 깊은 스텝의 학습 비용을 낮추기 위해 동적 깊이 샘플링(DDS)을 도입해 깊이에 따라 확률을 감쇠시킨다. 전체 요약 6문장 읽기 → 023 12:11 ▲ 36 · 댓글 1 이미지 여러 번 편집할 때 화질 유지하기 사용자가 연속된 명령어로 이미지를 여러 번 편집하는 다중 턴 이미지 편집 작업에서 기존 방식은 몇 번의 편집 후 화질 저하와 부작용이 누적되거나 이전 편집 내용이 의도하지 않게 변경되는 문제가 발생한다. AI · 머신러닝 · MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion
Key Point 연속된 이미지 편집 작업에서 화질 저하와 이전 편집 손실 문제를 해결하는 실질적인 기술이 나왔다.
핵심 요약
사용자가 연속된 명령어로 이미지를 여러 번 편집하는 다중 턴 이미지 편집 작업에서 기존 방식은 몇 번의 편집 후 화질 저하와 부작용이 누적되거나 이전 편집 내용이 의도하지 않게 변경되는 문제가 발생한다. 이 논문은 자동회귀 확산 기반의 통합 멀티모달 모델(UMM)을 위한 새로운 훈련 방식인 MT Forcing을 제안한다. 단일 턴 분포 매칭 증류(Single-Turn DMD)는 교사 모델이 원본 이미지에 누적된 편집을 한 번에 적용한 결과로 학생 모델의 자동 롤아웃을 감독하여, 반복적 오류 누적 없이 시각적 품질 지도를 제공한다. 전체 요약 5문장 읽기 → 024 06:11 ▲ 180 · 댓글 75 확산 기반 LLM 머큐리 3 공개, 초당 1000+ 토큰 처리 확산(Diffusion) 기반 LLM인 머큐리 3를 공개했으며, 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5를 능가하면서 4~8배 빠른 초당 1,068 토큰을 처리한다. AI · 머신러닝 · Mercury 3: Diffusion at scale
Key Point 확산 기반 LLM이 자동회귀 모델과의 경쟁에서 확장 가능함을 증명하는 첫 번째 상용 사례로, 실시간 AI 애플리케이션의 지연 시간 문제를 해결할 수 있다.
핵심 요약
확산(Diffusion) 기반 LLM인 머큐리 3를 공개했으며, 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5를 능가하면서 4~8배 빠른 초당 1,068 토큰을 처리한다. 머큐리 1 대비 40배 이상 모델 파라미터를 확대했으며, 벤치마크 기준 지능 수준은 3배 향상됐다. 문맥 길이는 260K에서 100만 토큰으로 확장했고, 입출력 토큰당 각각 0.20달러, 0.70달러이며 출시 초기에는 50% 할인(입력 0.10달러, 출력 0.35달러)을 제공한다. 전체 요약 10문장 읽기 → 025 03:11 ▲ 21 · 댓글 2 AI 에이전트의 추론 속도 2배 단축 기법 제안 대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다. AI · 머신러닝 · Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents
Key Point 도구를 사용하는 AI 에이전트의 추론 속도를 2배 단축하면서도 품질을 유지하는 새로운 방식으로, 개발비 많이 드는 강력한 모델의 추론 비용을 절감할 수 있는 실무 기법이 제시되었다.
핵심 요약
대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다. 기존 추측 기법은 약한 모델의 결과를 한 단계씩 검증하거나, 라우팅으로 어느 모델이 각 단계를 처리할지 결정한다. 논문에서 제안한 SpecAgent는 역할을 바꿔 약한 모델이 단계를 초안으로 작성하고 강력한 모델이 검증자로 변경한다. 전체 요약 11문장 읽기 → 026 15:11 ▲ 25 · 댓글 2 선택 작업에 특화된 경량 멀티모달 모델 Intern-Decision 공개 Intern-Decision은 텍스트와 이미지로부터 구조화된 선택과 확률을 반환하는 0.8B, 2B, 4B 사이즈의 멀티모달 의사결정 모델이다. AI · 머신러닝 · Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
Key Point 의사결정이 필요한 에이전트 시스템에서 응답 생성 대신 구조화된 선택을 직접 반환하므로, 지연시간을 줄이고 모델-환경 인터페이스를 단순화한다.
핵심 요약
Intern-Decision은 텍스트와 이미지로부터 구조화된 선택과 확률을 반환하는 0.8B, 2B, 4B 사이즈의 멀티모달 의사결정 모델이다. 자동회귀 마스크 언어 모델링 목표를 사용하여 완전한 어시스턴트 JSON 스켈레톤에 필드당 하나의 결정 플레이스홀더를 배치하고, 한 번의 순방향 전달로 모든 필드를 평가한다. 4B 모델이 7개 평가 세트에서 평균 90.02% 정확도를 달성했으며, Llama v1.13.0의 88.74%를 능가한다. 전체 요약 7문장 읽기 → 027 12:11 ▲ 78 · 댓글 3 비디오 생성 중간에 이미 완성된 토큰 멈추기 자동회귀 비디오 생성은 모든 토큰을 최종 노이즈 제거 단계까지 거치지만, 많은 토큰은 초기 단계에서 이미 최종 출력과 거의 같아서 더 이상의 처리가 불필요하다. AI · 머신러닝 · Speculative Forcing for Efficient Autoregressive Video Generation
Key Point 자동회귀 비디오 생성의 계산 병목을 토큰 단위로 해결해 같은 품질의 결과를 1.35~1.5배 빠르게 생성할 수 있게 하는 방법론이 공개됐다.
핵심 요약
자동회귀 비디오 생성은 모든 토큰을 최종 노이즈 제거 단계까지 거치지만, 많은 토큰은 초기 단계에서 이미 최종 출력과 거의 같아서 더 이상의 처리가 불필요하다. Speculative Forcing은 초기 단계의 깨끗한 추정값을 임시 결과물로 취급하고, 개별 토큰이 안전하게 조기에 수락될 수 있는 시점을 예측하는 프레임워크다. 수락된 토큰은 더 이상 노이즈 제거를 받지 않으면서 남은 토큰들의 맥락으로 캐시된 키와 값이 활용된다. 전체 요약 7문장 읽기 → 028 12:11 ▲ 43 · 댓글 2 멀티코드북 디퓨전으로 텍스트·이미지 통합 생성 가능 기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다. AI · 머신러닝 · Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation
Key Point 이산 공간에서 고해상도 이미지 생성과 텍스트 모델링을 진정으로 통합한 첫 디퓨전 언어모델로, 단일 모델로 텍스트·이미지·비디오·3D를 모두 다룰 수 있다는 점에서 멀티모달 생성의 새로운 패러다임을 제시한다.
핵심 요약
기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다. Intern Lumina U2는 각 시각적 위치를 여러 상호보완적 코드북의 코드 그룹으로 표현하는 멀티코드북 디퓨전 언어모델로, 이산 공간에서 고용량 시각 표현과 텍스트를 통합한다. 입력 시 각 위치의 임베딩을 연결하고, 출력 시 경량의 멀티코드북 자동회귀 헤드가 각 위치 내 코드를 순차적으로 예측하면서 디퓨전 백본은 모든 위치를 병렬 처리한다. 전체 요약 6문장 읽기 → 029 00:11 ▲ 10 · 댓글 1 자율주행 VLA 모델 AUGUstus, CoT와 확산 생성 통합으로 저지연 구현 기존 Vision-Language-Action(VLA) 모델은 두 가지 문제를 가짐: 저지연을 위해 회귀·흐름 기반으로 행동만 생성하면 안전성이 떨어지고, 자동회귀 방식으로 chain-of-thought(CoT)까지 생성하면 지연이 커짐. AI · 머신러닝 · AUGUstus: Autonomous Driving VLA Model with Unified Generation and Understanding
Key Point 자율주행 AI는 지연과 안전성의 트레이드오프를 풀어야 하는데, AUGUstus가 CoT 감독과 저지연 추론을 동시에 구현한 실용적인 해법을 보여주고 있으며 실제 차량 배포까지 달성했습니다.
핵심 요약
기존 Vision-Language-Action(VLA) 모델은 두 가지 문제를 가짐: 저지연을 위해 회귀·흐름 기반으로 행동만 생성하면 안전성이 떨어지고, 자동회귀 방식으로 chain-of-thought(CoT)까지 생성하면 지연이 커짐. AUGUstus는 확산 기반 행동 생성과 자동회귀 CoT 이해를 하나의 모델로 통합하되, CoT는 행동 생성만 돕도록 설계함. 행동을 먼저 생성하고 CoT로 감독하는 구조로, 훈련 때는 CoT 감독을 활용하되 추론 때는 행동 출력만 필요해 저지연을 달성함. 전체 요약 8문장 읽기 → 030 15:11 ▲ 199 · 댓글 1 비디오 이해와 상호작용 통합한 VideoJev 모델 Visual agent가 비디오에서 빠르게 의사결정하도록 System One 패러다임에 기반해 VideoJev를 제안했다. AI · 머신러닝 · VideoJev: System One Model for Video Understanding and Interaction
Key Point 에이전트가 비디오를 이해하고 상호작용하는 모든 작업을 하나의 통합 모델로 처리하면서 기존 MLLM 대비 속도는 최대 100배 이상 빨라지는 방식을 제시한다.
핵심 요약
Visual agent가 비디오에서 빠르게 의사결정하도록 System One 패러다임에 기반해 VideoJev를 제안했다. 기존 멀티모달 LLM의 자동회귀 디코딩을 대신해, 시간 구간과 텍스트 옵션을 비디오 증거에 대해 점수 매기는 공유 헤드로 교체했다. 이를 통해 시간 그라운딩과 다지선다형 비디오 질문 답변을 통합하면서 MLLM의 의미론적 유연성과 효율적 의사결정을 결합한다. 전체 요약 7문장 읽기 → 031 18:12 ▲ 27 · 댓글 2 병렬 초안 생성의 문제를 고치는 DCOCO 기법 추측 디코딩은 경량의 드래프터가 여러 토큰을 먼저 제안하고 타겟 모델이 병렬로 검증해 LLM 추론을 가속화한다. AI · 머신러닝 · Contextual Correction of Parallel Drafts for Speculative Decoding
Key Point 현재 프로덕션 LLM 추론에서 가장 효과적인 가속 기법인 추측 디코딩의 근본적 병목을 해결했으며, 모든 서빙 조건에서 지속적인 성능 향상을 제시한다.
핵심 요약
추측 디코딩은 경량의 드래프터가 여러 토큰을 먼저 제안하고 타겟 모델이 병렬로 검증해 LLM 추론을 가속화한다. 최근 확산 기반 드래프터들은 병렬로 여러 위치를 동시에 예측하지만, 각 토큰이 앞선 토큰들의 정체를 모른 채 예측되어 자동회귀 생성의 문맥 의존성이 손실된다. DCOCO(DFlash Contextual Corrector)는 병렬 드래프팅을 유지하면서 이 의존성을 복원하는 경량 메커니즘이다. 전체 요약 6문장 읽기 → 032 12:11 ▲ 33 · 댓글 2 확률 분포 일치로 보정 없이 확산 언어모델 양자화 확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. AI · 머신러닝 · SoloQ: Calibration-Free Quantization for Diffusion Language Models
Key Point 확산 기반 언어모델의 배포 효율성이 점점 중요해지는 상황에서, 보정 데이터 없이도 정확도를 유지하는 양자화 기법이 실무 적용 시간을 크게 단축할 수 있다.
핵심 요약
확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. 기존 양자화 방법들은 마스킹 상태와 노이징 단계마다 활성화 분포가 바뀌어 보정 데이터가 필수였다. SoloQ는 가중치와 활성화를 정규화된 회전 기저로 매핑해 예측 가능한 주변 분포를 만들고, 이를 통해 데이터 독립적 양자화를 실현한다. 전체 요약 8문장 읽기 → 033 21:11 ▲ 104 · 댓글 36 금융 시장 데이터를 생성 모델로 합성할 수 있을까 Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. AI · 머신러닝 · Can you use autoregressive diffusion to generate market data?
Key Point 시장 데이터를 직접 합성하는 생성 모델은 기존의 포인트 추정 방식과 달리 시장 미시구조의 구체적 이벤트까지 재현할 수 있어, 량자펀드의 백테스팅과 리스크 시뮬레이션 방법을 근본적으로 바꿀 수 있는 가능성을 보여준다.
핵심 요약
Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. 기존 예측 모델과 달리 가격 뿐 아니라 주문 타이밍, 취소, 체결 같은 구체적 이벤트까지 합성하는 모델을 목표로 했다. 시장 데이터는 이산적(주문 추가/제거)이면서도 연속적(가격, 타이밍 같은 고차원 변수)인 혼합 특성을 갖고 있어 모델링이 복잡하다. 전체 요약 10문장 읽기 → 034 12:11 ▲ 29 · 댓글 2 생성 시점의 활성화에 맞춘 LLM 가지치기로 디코딩 가속 LLM 디코딩 단계는 메모리 대역폭이 성능 병목이 되는데, Hessian 기반 가지치기로 읽는 파라미터 수를 줄여 지연 시간을 개선할 수 있다. AI · 머신러닝 · SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
Key Point 디코딩 단계의 실제 토큰 생성 환경과 가지치기 과정의 불일치를 해결하면서 SpMV 연산에 최적화된 커널까지 제공해, LLM 추론 속도 개선에 직접적으로 적용 가능한 실무적 해법을 제시한다.
핵심 요약
LLM 디코딩 단계는 메모리 대역폭이 성능 병목이 되는데, Hessian 기반 가지치기로 읽는 파라미터 수를 줄여 지연 시간을 개선할 수 있다. 기존 방법들은 자연 텍스트에서 계산한 Hessian으로 모델을 가지치기하지만, 실제 디코딩 중에는 모델이 자체 생성 토큰을 처리하면서 분포 차이(distribution shift)가 발생한다. 이로 인해 생성 시 활성화 분포가 가지치기 시 사용된 분포에서 벗어나 모델 성능이 저하되는 문제가 있다. 전체 요약 7문장 읽기 → 035 00:11 ▲ 12 · 댓글 2 투기적 디코딩에서 불필요한 검증을 줄이는 DLoop 기법 큰 언어 모델의 자동회귀 생성을 가속하는 투기적 디코딩은 경량 초안 모델이 토큰을 제안하면 목표 모델이 이를 검증하는 방식으로 작동한다. AI · 머신러닝 · DLoop: Looped Speculative Decoding
Key Point LLM 추론 속도는 산업 전반의 핵심 과제인데, DLoop가 기존 투기적 디코딩 방식들의 근본 한계를 해결하고 다양한 방법에 범용적으로 적용 가능하다는 점이 중요합니다.
핵심 요약
큰 언어 모델의 자동회귀 생성을 가속하는 투기적 디코딩은 경량 초안 모델이 토큰을 제안하면 목표 모델이 이를 검증하는 방식으로 작동한다. 초안 모델의 성능이 높아지면 목표 모델이 제안된 토큰 전체를 자주 수락하는데도, 매 초안 단계 후 불필요한 검증 및 목표 모델 연산이 반복된다. 기존 적응형 초안 길이 방식들은 자동회귀 초안 모델에서만 속도 향상을 주고, 병렬 초안 모델의 경우 검증되지 않은 토큰의 목표 모델 은닉 상태가 필요해 한계가 있다. 전체 요약 7문장 읽기 → 036 21:11 ▲ 20 · 댓글 2 카메라 기하학 조건으로 다중 시점 이미지 합성 3배 가속 소수의 2D 이미지로부터 3D 콘텐츠를 생성하는 '희소 시점 신규 시점 합성' 문제를 해결하는 NAMVIS 프레임워크를 제안했다. AI · 머신러닝 · NAMVIS: Next-Scale Autoregressive Multi-View Image Synthesis
Key Point 3D 콘텐츠 제작에 필수적인 다중 시점 생성을 기존 방식보다 3배 빠르고 더 정확하게 처리하는 기술이 등장했기 때문이다.
핵심 요약
소수의 2D 이미지로부터 3D 콘텐츠를 생성하는 '희소 시점 신규 시점 합성' 문제를 해결하는 NAMVIS 프레임워크를 제안했다. 기존 확산 모델의 반복적 잡음 제거 대신, 이산 시각 토큰을 단계별로 예측하고 모든 토큰을 병렬로 샘플링하는 자동회귀 방식을 사용한다. 멀티스케일 프로젝티브 포즈 인코딩이라는 기법으로 소스·타겟 카메라의 기하학적 변환 정보를 모든 해상도의 셀프-어텐션과 크로스-어텐션에 주입한다. 전체 요약 6문장 읽기 → 037 18:30 ▲ 51 · 댓글 2 자동회귀 비디오 생성의 그래디언트 충돌 해결: SGF+ 자동회귀 방식의 비디오 생성은 현재 프레임을 노이즈 제거하면서 동시에 미래 예측용 컨텍스트로 쓸 키-값 표현을 작성해야 하는데, 이 두 역할이 같은 파라미터를 공유하면서 서로 다른 그래디언트 패턴을 보이고 체계적인 음의 정렬을 일으킨다. AI · 머신러닝 · SGF+: Decoupling Gradient Flows for Autoregressive Video Generation
Key Point 자동회귀 비디오 생성의 핵심 병목인 그래디언트 충돌을 단순한 파라미터 분리로 해결해 긴 비디오도 별도 학습 없이 생성할 수 있게 하는 방법론이 제시됐습니다.
핵심 요약
자동회귀 방식의 비디오 생성은 현재 프레임을 노이즈 제거하면서 동시에 미래 예측용 컨텍스트로 쓸 키-값 표현을 작성해야 하는데, 이 두 역할이 같은 파라미터를 공유하면서 서로 다른 그래디언트 패턴을 보이고 체계적인 음의 정렬을 일으킨다. 이러한 그래디언트 충돌이 시각적 품질과 시간적 일관성의 공동 최적화를 방해하고 있다. 연구팀은 Self Gradient Forcing Plus(SGF+)를 제안하여 컨텍스트 작성과 노이즈 제거에 별도의 파라미터를 할당하되, 인과적 어텐션을 통해 두 역할 간 상호작용을 유지한다. 전체 요약 7문장 읽기 → 038 18:33 ▲ 20 · 댓글 2 검색 에이전트를 위한 빠르고 정확한 의사결정 모델 SearchJev 검색 에이전트는 관련성·증거 충분성·검색 행동에 대해 반복적으로 빠른 결정을 내려야 하는데, 생성 언어모델을 쓰면 지연시간이 크고 신뢰도가 낮다. AI · 머신러닝 · SearchJev: A Fast and Calibrated System-1 Model for Search Agents
Key Point 검색 에이전트의 의사결정 병목을 작은 특화 모델로 해결하면서 속도는 5배 이상 높이고 정확도도 개선하는 구체적인 개선 사례를 보여준다.
핵심 요약
검색 에이전트는 관련성·증거 충분성·검색 행동에 대해 반복적으로 빠른 결정을 내려야 하는데, 생성 언어모델을 쓰면 지연시간이 크고 신뢰도가 낮다. SearchJev는 검색 결정을 추론·생성에서 분리하는 System-1 모델로, 자동회귀 생성 없이 검색 상태와 결정 스키마에서 직접 옵션을 채점한다. 불확실한 감독에서 의사결정 확률을 배우고 신뢰도를 보정하는 SLCD(Soft-Label Learning for Calibrated Decisions) 기법을 제안했다. 전체 요약 7문장 읽기 → 039 18:33 ▲ 14 · 댓글 1 확산 언어 모델의 취약점: 피드백 제어로 편향 주입 공격 마스크드 확산 언어 모델(dLLM)은 토큰을 여러 번 재예측하면서 반복적으로 디노이징하므로, 각 토큰이 확정되기 전에 생성 확률이 여러 단계에서 노출된다. AI · 머신러닝 · Noise Out, Bias In: Targeted Bias Injection in Diffusion Language Models via Closed-Loop Activation Steering
Key Point 마스크드 확산 언어 모델이 기존 자동회귀 모델과 달리 여러 단계에서 답변을 노출하는 특성을 악용한 새로운 공격 벡터가 발견되었으며, 피드백 제어로 편향 주입 효과를 크게 증폭할 수 있다는 점이 주목할 만하다.
핵심 요약
마스크드 확산 언어 모델(dLLM)은 토큰을 여러 번 재예측하면서 반복적으로 디노이징하므로, 각 토큰이 확정되기 전에 생성 확률이 여러 단계에서 노출된다. 연구진은 내부 활성화에 접근 가능한 공격자가 이러한 디노이징 궤적을 악용해 모델을 특정 인구통계학적 답변으로 유도하는 '표적 편향 주입' 공격을 개발했다. 공격은 비례-적분(PI) 제어기를 사용해 디노이징 과정 중 목표 답변 확률을 추적하고, 조향 벡터의 강도를 실시간으로 조정한다. 전체 요약 7문장 읽기 → 040 18:35 ▲ 60 · 댓글 2 토큰 난이도에 맞춰 계산 할당하는 확산형 언어모델 ALoDLM 확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다. AI · 머신러닝 · ALoDLM: Adaptively Looped Diffusion Language Models
Key Point 기존 확산형 언어모델의 품질 격차 원인을 토큰 난이도 측면에서 처음으로 진단하고, 적응형 계산 할당으로 해결한 새로운 접근법이 표준 모델들을 능가했기 때문이다.
핵심 요약
확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다. 논문은 이 격차의 원인을 계산-난이도 불일치로 분석했다. 부분적으로 관찰된 수열 내에서 일부 미지의 토큰은 쉽게 예측되지만 다른 토큰은 훨씬 더 많은 계산이 필요하다. 기존 DLM은 각 노이즈 제거 단계에서 모든 미지 위치에 동일한 계산 깊이를 적용한다. 전체 요약 9문장 읽기 → 041 18:35 ▲ 35 · 댓글 2 장시간 영상 생성 시 표현 붕괴 문제 해결 기법 제시 자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. AI · 머신러닝 · In-Distribution Forcing for Long Video Generation at Test Time
Key Point 자동회귀 비디오 생성 모델의 장시간 생성에서 흔히 발생하는 표현 붕괴 문제를 근본적으로 해결하는 방식을 제시하며, 분당 단위 길이의 영상 생성을 가능하게 한다.
핵심 요약
자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. 기존 방식은 KV 조건화(캐시된 키-밸류 항목 선택·수정)로 드리프팅을 완화하려 했으나, 훈련 범위를 초과하면 캐시 항목 자체가 분포 외(OOD)가 되는 KV-provenance 문제가 발생한다. 이를 해결하기 위해 In-Distribution Forcing(ID-Forcing)을 제시하는데, 이는 KV 캐싱과 조건화를 훈련 설정과 정렬시키는 테스트타임 프레임워크다. 전체 요약 6문장 읽기 → 042 06:11 ▲ 18 · 댓글 3 자동회귀 비디오 생성 오류 누적 문제 해결하는 RMD 기법 제안 자동회귀 비디오 확산 모델은 저지연 스트리밍 생성을 가능하게 하지만, 긴 롤아웃 과정에서 예측 오류가 축적되는 문제가 있다. AI · 머신러닝 · Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation
Key Point 자동회귀 비디오 생성에서 오류 축적을 근본적으로 해결하는 새로운 증류 방식이 제시되어, 장시간 고품질 비디오 생성이 필요한 개발자들에게 실질적인 개선 방안을 제공한다.
핵심 요약
자동회귀 비디오 확산 모델은 저지연 스트리밍 생성을 가능하게 하지만, 긴 롤아웃 과정에서 예측 오류가 축적되는 문제가 있다. 기존 기법들은 영상 수준의 분포 매칭 증류(DMD)를 통해 전체 롤아웃을 함께 평가하는데, 이로 인해 각 청크가 주변 맥락의 인공물과 어울리도록 조정되어 시각 품질 신호가 희석된다. 연구진은 롤아웃-마진 증류(RMD)를 제안했으며, 이는 생성된 히스토리는 유지하되 각 청크를 독립적으로 청크 교사에 대해 평가한다. 전체 요약 6문장 읽기 → 043 03:11 ▲ 26 · 댓글 2 자동회귀 비디오 모델, 목표 지향적 추론으로 진화 자동회귀(AR) 비디오 생성 모델은 다음 청크 예측에 의존하면서 단기적·반응적 패러다임에 갇혀 있었고, 이는 목표 달성 과정이 중요한 추론 기반 생성 작업에서 한계였다. AI · 머신러닝 · ProAR: Learning Prospective Reasoning with Autoregressive Video Models
Key Point 자동회귀 모델의 근본적 한계인 '근시안적 예측'을 명시적 목표 조건화와 미래 예측으로 해결하는 방식이 새로우며, 표준 모델보다 훨씬 적은 학습량으로 더 좋은 결과를 얻을 수 있다는 것이 효율성 관점에서 실무 적용 가치가 있다.
핵심 요약
자동회귀(AR) 비디오 생성 모델은 다음 청크 예측에 의존하면서 단기적·반응적 패러다임에 갇혀 있었고, 이는 목표 달성 과정이 중요한 추론 기반 생성 작업에서 한계였다. ProAR은 AR 비디오 생성을 목표 지향적 추론 과정으로 전환하는 프레임워크로, 비대칭 어텐션 마스크를 통해 예측된 목표 프레임(goal frame)을 자동회귀 루프에 통합해 중간 상태 생성을 안내한다. 두 번째 핵심은 미래 표현 자기정렬(future representation self-alignment)로, 현재 은닉 상태가 다음의 시간적 역학을 예측하도록 유도하며, 티처 포싱으로 깨끗한 미래 표현을 추출하고 경량 예측기로 정렬한다. 전체 요약 6문장 읽기 → 044 18:11 ▲ 52 · 댓글 2 마스크 기반 확산 모델의 학습 효율성을 높이는 Pivot-SD 마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. AI · 머신러닝 · Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
Key Point 마스크 기반 확산 모델의 학습 비효율을 지목하고, 고영향 결정점만 선별 학습하는 새로운 자기증류 방식이 소규모 데이터로도 기존 방법을 능가하는 결과를 보여준다.
핵심 요약
마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. 기존 dLM 학습 방식은 이러한 신호를 활용하지 않으며, 최종 텍스트나 전체 노이징 단계에 보상을 할당하는 방식으로 개별 핵심 토큰 결정을 선별하지 않는다. Pivot-SD는 오프라인 자기증류 프레임워크로서, 오직 응답 형성에 큰 영향을 미치는 핵심 결정점(pivot)만을 감독한다. 전체 요약 5문장 읽기 → 045 00:11 ▲ 11 · 댓글 2 예측 가능한 의미 토큰으로 영상 생성 가속화 최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. AI · 머신러닝 · SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Key Point 자동회귀 영상 생성에서 모델 크기 대비 성능 효율이 3배 이상 개선되면서, 비용 효율적인 고품질 영상 생성 시스템 구축이 가능해진다.
핵심 요약
최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. 기존 유연한 토크나이저들은 초기 디코더 숨김층에만 표현 정렬(REPA) 손실을 적용하는데, 디코더가 노이즈 입력에서 이를 부분적으로만 충족할 수 있다는 문제가 있다. SemanTok은 고정된 DINO 특징을 인코더에 입력하고 각 토큰 접두사에서 이들을 재구성하는 경량 헤드를 추가한 유연한 영상 토크나이저다. 전체 요약 6문장 읽기 → 046 00:11 ▲ 13 · 댓글 2 코딩 에이전트를 위한 검색 기반 추론 가속화 기법 AgSpec 검색 기반 추론 가속화(retrieval-based speculative decoding)는 기존 텍스트에서 연속되는 부분을 복사해 토큰을 생성하는 방식으로, 코드·로그·이전 시도를 반복해서 생성하는 코딩 에이전트에 적합하다. AI · 머신러닝 · AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines
Key Point 코딩 에이전트의 생성 속도를 배치당 4배 이상 높이면서도 다양한 환경에서 작동하는 기법이 나왔으며, 에이전트 파이프라인의 재사용 텍스트를 효과적으로 활용하는 새로운 접근법을 제시한다.
핵심 요약
검색 기반 추론 가속화(retrieval-based speculative decoding)는 기존 텍스트에서 연속되는 부분을 복사해 토큰을 생성하는 방식으로, 코드·로그·이전 시도를 반복해서 생성하는 코딩 에이전트에 적합하다. 기존 방식의 한계는 재사용 가능한 텍스트가 말뭉치에 없거나 에이전트가 출력하는 형식과 다르게 저장되며, 초안 길이가 에이전트마다 또는 턴마다 변하는 점을 고려하지 못한다. AgSpec 프레임워크는 기존 검색 엔진이 제공하지 못하는 말뭉치와 초안 길이 정책을 제공한다. 전체 요약 8문장 읽기 → 047 15:11 ▲ 11 · 댓글 1 음성 복제 TTS를 10배 빠르게, 자동회귀 대신 마스크 예측으로 기존 음성 복제 TTS는 자동회귀 시맨틱 모델링으로 높은 품질과 표현력을 보였지만, 순차 디코딩으로 인한 높은 지연 시간이 문제였다. AI · 머신러닝 · Tacit-TTS: From Autoregressive Decoding to Masked Prediction for Efficient Transcript-Free Voice Cloning
Key Point 음성 복제 음성합성의 속도와 유연성 문제를 동시에 해결하는 방식이 등장했으며, 텍스트 없는 조건화로 다국어·비음성 참조까지 지원하는 확장성이 실제 응용 시 의미가 있다.
핵심 요약
기존 음성 복제 TTS는 자동회귀 시맨틱 모델링으로 높은 품질과 표현력을 보였지만, 순차 디코딩으로 인한 높은 지연 시간이 문제였다. 논문은 Tacit-TTS라는 효율적인 음성 복제 시스템을 제안하며, IndexTTS2에서 증류(distillation)한 모델이다. 자동회귀 텍스트-시맨틱 디코딩을 마스크 기반 비자동회귀 생성으로 대체하고, 학습 없는 음성 길이 추정을 도입했다. 전체 요약 7문장 읽기 → 048 09:11 ▲ 10 · 댓글 2 긴 시퀀스 처리의 한계, 분수 동역학으로 해결 State Space Models(SSM)는 시퀀스 히스토리를 제한된 크기의 상태로 압축하는데, 기존 ODE 기반 SSM은 지수 감쇠를 사용하여 오랜 시간에 걸친 정보 보유 능력이 제한된다. AI · 머신러닝 · Fractional State Space Transition for Long Sequence Modeling
Key Point State Space Model의 메모리 구조 한계를 해결하는 새로운 접근이 긴 문맥 처리 능력을 크게 높이므로, 대규모 언어 모델의 성능 향상에 직결된다.
핵심 요약
State Space Models(SSM)는 시퀀스 히스토리를 제한된 크기의 상태로 압축하는데, 기존 ODE 기반 SSM은 지수 감쇠를 사용하여 오랜 시간에 걸친 정보 보유 능력이 제한된다. 연구팀이 제시한 FRAC은 분수 동역학에서 파생된 선택적 SSM으로, 지수 감쇠를 멱법칙 기반 장기 메모리로 대체한다. FRAC은 무거운 꼬리 분포 커널을 log-space로 배치된 유한 개의 지수 모드의 합으로 근사하여, 분수 동역학을 실용적인 순환 모듈로 변환한다. 전체 요약 6문장 읽기 → 049 15:11 ▲ 25 · 댓글 2 동영상 생성 모델의 '일괄 증류' 기술 공개 동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. AI · 머신러닝 · LongLive-Plug: Once-for-All Distillation for Video Generation
Key Point 동영상 생성 모델 특화로 인한 반복 학습 비용을 획기적으로 줄이는 기술로, 실제 배포된 54개 모델에서 검증되었기 때문에 현실성 있는 효율화 방안을 제시한다.
핵심 요약
동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. LongLive-Plug는 한 번의 학습으로 여러 모델에 재사용 가능한 기능을 LoRA로 학습하는 일괄 증류 프레임워크다. 단일 패스 분류기 없는 가이던스, 소수 단계 샘플링, 자동회귀 생성의 장기 맥락 오류 보정 기능을 제공한다. 전체 요약 8문장 읽기 → 050 12:11 ▲ 25 · 댓글 1 학생 모델이 만든 문장을 선생 모델이 계속쓰며 학습 OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다. AI · 머신러닝 · Learning from Teacher Continuations at Student States
Key Point 온라인 학습과 오프라인 증류의 한계를 동시에 해결하는 새로운 증류 방식이 기존 방법 대비 더 나은 성능을 달성하는 방법론을 제시하기 때문이다.
핵심 요약
OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다. 각 반복 단계에서 학생 모델이 프리픽스를 생성하고, 선생 모델이 자동회귀로 이를 이어쓰며, 선생이 생성한 토큰에 대해 교차 엔트로피로 학생을 업데이트한다. 기존 증류 방법의 세 가지 제약을 해결한다: 고정된 선생 궤적으로 학습할 때의 순차적 공변량 시프트, 프리픽스 실패 시 단편적 감독, 선생의 토큰 확률값 접근 필요성. 전체 요약 8문장 읽기 → 051 21:11 ▲ 22 · 댓글 2 Flow Matching으로 이미지 보정 도구 제어하기 기존 이미지 보정 도구는 자동회귀 방식의 대형언어모델로 추론과 도구 선택, 파라미터를 순차적으로 생성했다. AI · 머신러닝 · FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
Key Point 자동회귀 방식의 느린 추론을 벗어나 50배 빠른 이미지 보정 시스템을 구현한 새로운 접근 방식으로, 생성형 AI 기반 편집 도구의 성능과 효율성을 크게 개선할 수 있는 경로를 제시한다.
핵심 요약
기존 이미지 보정 도구는 자동회귀 방식의 대형언어모델로 추론과 도구 선택, 파라미터를 순차적으로 생성했다. FlowTool은 이 문제를 Flow Matching으로 재정의하여 입력 이미지와 사용자 지시에 조건부된 고품질 편집 파라미터 분포를 직접 모델링한다. 비전-언어 모델과 Diffusion Transformer 기반 파라미터 생성기를 결합해 가우시안 잡음을 편집 계획으로 변환한다. 전체 요약 8문장 읽기 → 052 21:11 ▲ 20 · 댓글 1 동영상 생성 자동회귀 확산 모델의 캐시 재사용으로 1.7배 고속화 자동회귀 비디오 확산 모델은 동영상을 시간 단위 청크로 나누어 여러 단계의 노이즈 제거를 거쳐 생성하는데, 이미 생성한 청크를 기억하기 위해 기존 방식들은 별도의 순전파를 통해 깨끗한 KV 캐시를 재구성해야 했다. AI · 머신러닝 · In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion
Key Point 프롬프트-기반 동영상 생성 서비스 개발 시 캐시 재사용과 양방향 조건부 생성으로 생성 속도를 높이는 구체적인 기술적 해법을 제시하므로, 장시간 영상 생성이 필요한 실무 개발자에게 실질적 개선 방안을 보여준다.
핵심 요약
자동회귀 비디오 확산 모델은 동영상을 시간 단위 청크로 나누어 여러 단계의 노이즈 제거를 거쳐 생성하는데, 이미 생성한 청크를 기억하기 위해 기존 방식들은 별도의 순전파를 통해 깨끗한 KV 캐시를 재구성해야 했다. FlashForward는 각 노이즈 제거 단계 중에 자동으로 생성되는 현재 청크의 KV 캐시를 다음 청크에서 직접 재사용해 캐시 업데이트 전용 순전파를 제거한다. 이 방식은 여러 GPU를 각 단계에 할당해 서로 다른 청크가 동시에 서로 다른 단계를 점유하도록 해 병렬 처리 효율을 높인다. 전체 요약 7문장 읽기 → 053 15:11 ▲ 18 · 댓글 2 멀티뷰 학습으로 공간 추론 강화한 SpatialSpeak 공개 비전-언어 모델(VLM)이 다중 관점 공간 추론을 위해 기하학적 사전 정보를 활용하지만, 기존 답 위주의 학습은 중간의 기하학적 추정과 정량적 공간 답 도출 과정을 직접 감독하지 않는다. AI · 머신러닝 · SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning
Key Point 비전-언어 모델의 공간 추론 능력을 크게 향상하는 새로운 학습 방식이 제시되었으며, 멀티뷰 재구성과 사고의 흐름 학습을 결합한 접근법이 기하학적 이해와 답 도출 과정 모두를 강화한다.
핵심 요약
비전-언어 모델(VLM)이 다중 관점 공간 추론을 위해 기하학적 사전 정보를 활용하지만, 기존 답 위주의 학습은 중간의 기하학적 추정과 정량적 공간 답 도출 과정을 직접 감독하지 않는다. 연구팀은 VLM이 멀티뷰 재구성을 통해 국소 기하학과 전역 장면 맥락을 함께 학습할 때 공간 사고의 흐름(CoT) 감독이 더 효과적이라고 가정했다. SpatialSpeak은 두 단계 프레임워크로, 1단계(QA-Native Reconstruction Pretraining, QA-RP)에서 표시된 점 기반 3D 쿼리로 세밀한 국소 기하학을 학습하고 객체 중심 쿼리로 전역 장면 맥락을 학습한다. 전체 요약 8문장 읽기 → 054 22:29 ▲ 39 · 댓글 2 자동회귀 영상 생성의 메모리 문제, 체계적 연구 프레임 제시 자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. AI · 머신러닝 · The Past Frames the Future: Memory for Autoregressive Video Generation
Key Point 자동회귀 영상 생성이 점점 길어지면서 메모리 부족으로 인한 시간적 일관성 붕괴 문제가 실질적 제약인데, 이를 체계화한 첫 종합 리뷰라 기술 개발 방향에 영향을 미칠 것으로 예상된다.
핵심 요약
자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. 이 논문은 자동회귀 영상 생성에서 메모리 메커니즘을 체계적으로 검토하는 첫 종합 연구다. 메모리를 '과거 단계의 정보가 현재 컨텍스트에서 접근 불가능해진 후에도 미래 생성에 영향을 미칠 수 있는 지속적 역사 정보'로 정의한다. 전체 요약 6문장 읽기 → 055 15:11 ▲ 32 · 댓글 3 이미지 생성 모델의 벡터 양자화 학습 안정성 개선 방법 자동회귀 및 마스킹 이미지 생성 모델의 기초가 되는 벡터 양자화(VQ) 토크나이저는 학습 과정이 불안정하다는 문제를 지적했다. AI · 머신러닝 · StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
Key Point 이미지 생성 모델의 핵심 컴포넌트인 벡터 양자화의 학습 불안정성을 해결하는 실무적 방법론을 제시하므로, 생성형 AI 모델 개발자와 연구자에게 즉시 적용 가능한 지침을 제공한다.
핵심 요약
자동회귀 및 마스킹 이미지 생성 모델의 기초가 되는 벡터 양자화(VQ) 토크나이저는 학습 과정이 불안정하다는 문제를 지적했다. 인코더-디코더와 코드북 학습이 얽혀 있어 두 모듈이 협력할 때만 작동하므로, 학습이 가중될수록 붕괴되는 취약함이 있다. StableVQ는 동적 STE를 통해 인코더의 학습 목표를 안정화하고, 리전 VQ 손실로 코드북이 독립적으로 전체 추적을 보장하며, 분리된 스케줄로 각 모듈이 별도의 학습률을 갖도록 한다. 전체 요약 5문장 읽기 → 056 15:11 ▲ 24 · 댓글 2 확산 LLM의 메모리와 속도 문제를 푸는 Flash-dLLM 비자동회귀 텍스트 생성이 가능한 확산 LLM(dLLM)이 등장했으나 추론 단계에서 KV 캐싱 부재와 병렬 디코딩 메커니즘 부족으로 인해 배포가 제한적이다. AI · 머신러닝 · Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
Key Point 자동회귀 방식 LLM의 느린 추론이 산업 문제인 가운데, 비자동회귀 생성의 실무 적용을 가로막는 메모리 효율성 문제를 근본적으로 해결하는 기법이다.
핵심 요약
비자동회귀 텍스트 생성이 가능한 확산 LLM(dLLM)이 등장했으나 추론 단계에서 KV 캐싱 부재와 병렬 디코딩 메커니즘 부족으로 인해 배포가 제한적이다. Flash-dLLM은 학습 없이 적용 가능한 추론 가속화 프레임워크로, GPU 메모리 I/O 병목을 식별하고 최적화된 KV 캐시 커널로 메모리 이동을 줄인다. 별도 모델 없이 dLLM 자체가 드래프터와 검증자 역할을 하는 효율적인 draft-and-verify 디코딩 전략을 제안한다. 전체 요약 4문장 읽기 → 057 00:10 ▲ 354 · 댓글 72 System 1 의사결정 모델 Laya 오픈소스 공개 LLM 기반 구조화된 의사결정 모델 Jev의 폐쇄성에 대응해, 같은 개념을 완전 오픈소스로 구현한 Laya를 공개했다. AI · 머신러닝 · Laya the open source version of Jev
Key Point LLM으로 단순 분류 작업을 처리하는 비효율을 해결하는 새로운 모델 아키텍처가 공개됐으며, Jev의 폐쇄성 대비 완전 오픈소스 대안이 필요한 상황이다.
핵심 요약
LLM 기반 구조화된 의사결정 모델 Jev의 폐쇄성에 대응해, 같은 개념을 완전 오픈소스로 구현한 Laya를 공개했다. 자동회귀 생성 방식 대신 순방향 한 번의 추론으로 확률분포를 반환하며, 30~35ms의 초저지연 응답을 제공한다. choice(선택지 선택), score(순서척도), noul(참거짓 판정) 세 가지 기본 연산만으로 동작하여 환각이나 JSON 파싱 오류가 불가능하다. 전체 요약 6문장 읽기 → 058 21:11 당일 +503 금융 시장 전문 AI 모델 Kronos 오픈소스 공개 금융 캔들차트(K-line) 데이터 분석에 특화된 오픈소스 기초 모델 Kronos를 공개했습니다. 전 세계 45개 이상의 거래소 데이터로 사전 학습되었습니다. AI · 머신러닝 · shiyu-coder/Kronos · Python
Key Point 금융 시계열 분석에 특화된 첫 오픈소스 기초 모델로, 일반 시계열 모델과 달리 K-line 데이터의 독특한 특성을 처리하도록 설계되어 개인 트레이더와 정량 분석가들이 직접 활용할 수 있습니다.
핵심 요약
금융 캔들차트(K-line) 데이터 분석에 특화된 오픈소스 기초 모델 Kronos를 공개했습니다. 전 세계 45개 이상의 거래소 데이터로 사전 학습되었습니다. OHLCV 데이터를 계층적 이산 토큰으로 변환하는 전문화된 토크나이저와 자동회귀 트랜스포머로 구성되어 금융 데이터의 높은 노이즈 특성을 처리합니다. Kronos-mini(4.1M), Kronos-small(24.7M), Kronos-base(102.3M), Kronos-large(499.2M) 등 다양한 크기의 모델을 Hugging Face Hub에서 무료로 제공합니다. 전체 요약 5문장 읽기 → 059 11:10 ▲ 143 · 댓글 53 vLLM이 AMD GPU에서 추측 디코딩 지원 vLLM이 추측 디코딩(speculative decoding) 기능을 AMD Instinct MI300X·MI355X GPU와 ROCm에서 구현했다. AI · 머신러닝 · Speculative Decoding in vLLM on AMD GPUs
Key Point LLM 추론 성능 최적화를 위한 주요 기법이 AMD GPU에서 실제 구현되어, 장기 생성 작업의 처리량 개선 가능성을 보여준다.
핵심 요약
vLLM이 추측 디코딩(speculative decoding) 기능을 AMD Instinct MI300X·MI355X GPU와 ROCm에서 구현했다. 추측 디코딩은 경량 드래프트 모듈이 여러 토큰을 먼저 제안하고 타겟 모델이 한 번에 검증하는 방식으로, 기존 자동회귀 디코딩보다 모델 통과 횟수를 줄인다. 표준 방식은 토큰 하나당 모델 실행 1회가 필요하지만, 추측 디코딩은 여러 드래프트 토큰이 검증을 통과하면 단일 모델 실행으로 여러 토큰을 커밋할 수 있다. 전체 요약 5문장 읽기 →