쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 6일 (금)까지 4095건
100건 (최대치) · "언어모델"조건 지우기 ×
001 15:10 ▲ 40 · 댓글 1 벤치마크 평가 시간 50% 단축, BestRand 방법론 모델 평가에 소요되는 시간과 비용을 줄이기 위해 전체 벤치마크 대신 일부 항목만 평가하는 벤치마크 압축 기법의 안정성을 분석했다. AI · 머신러닝 · Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand
Key Point 모델 평가 비용이 증가하는 상황에서 평가 시간을 절반 이상 줄이면서도 결과의 신뢰성을 보장할 수 있는 방법으로, 대규모 언어모델 연구자들이 즉시 적용할 수 있다.
핵심 요약
모델 평가에 소요되는 시간과 비용을 줄이기 위해 전체 벤치마크 대신 일부 항목만 평가하는 벤치마크 압축 기법의 안정성을 분석했다. 전체 벤치마크 점수를 부분 평가로 추정할 때 오류 분포를 수학적으로 유도한 결과, 대부분 오류는 작지만 일부는 매우 큰 오류가 발생하는 긴 꼬리 분포를 확인했다. 무작위 샘플링만으로도 높은 확률로 우수한 성능을 얻을 수 있지만, 드문 대규모 오류로 인해 불안정성이 남아 있다. 전체 요약 8문장 읽기 → 002 06:11 ▲ 19 · 댓글 2 정책 증류 학습, 분포 밖 일반화 능력 잃는다 여러 교사 모델에서 능력을 통합하는 다중 교사 정책 내 증류(MOPD)가 학습 데이터 분포 내에서는 완벽에 가까운 성능을 보이지만, 분포 밖 일반화 능력은 크게 떨어진다. AI · 머신러닝 · On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
Key Point 대규모 언어모델을 다중 교사로부터 학습시킬 때 학습 데이터 분포 내에선 우수하지만 그 외의 상황에서 성능이 급격히 떨어지는 핵심 문제를 실증적으로 규명했고, 개선 방안까지 제시했기 때문입니다.
핵심 요약
여러 교사 모델에서 능력을 통합하는 다중 교사 정책 내 증류(MOPD)가 학습 데이터 분포 내에서는 완벽에 가까운 성능을 보이지만, 분포 밖 일반화 능력은 크게 떨어진다. Qwen3 모델을 이용해 수학 추론, 코딩, 에이전트, 장문맥 이해 등 4가지 과제에서 성능을 평가한 결과, 분포 외(OOD) 성능이 기본 모델보다 2.45~16.25% 낮았다. 합성 작업에서는 MOPD가 분포 내 성능을 개선했으나, 구성된 작업의 분포 외 성능은 최고 성능 교사 모델보다 18.19~24.34% 뒤떨어졌다. 전체 요약 7문장 읽기 → 003 03:11 ▲ 16 · 댓글 4 긴 문맥 없이도 언어모델 성능 유지 가능 최신 오픈웨이트 언어모델에서 토큰 생성 비용이 초반부 대비 최대 7배까지 증가한다. AI · 머신러닝 · You don't need long context
Key Point 긴 문맥을 유지하는 것의 비용 대비 이득을 재평가하는 연구로, 장문맥 능력에 의존하던 LLM 설계와 배포 전략에 직접적인 영향을 미칠 수 있다.
핵심 요약
최신 오픈웨이트 언어모델에서 토큰 생성 비용이 초반부 대비 최대 7배까지 증가한다. 논문은 빈번한 압축(compaction)을 통해 긴 입력·긴 지평선 태스크에서도 짧은 문맥 유지 시 거의 정확도 손실 없이 수행 가능함을 보였다. 소프트웨어 엔지니어링 태스크에서도 한 번에 하나의 액션만 수행하는 제약에서 언어모델 성능이 붕괴하지 않음을 확인했다. 전체 요약 5문장 읽기 → 004 00:11 ▲ 121 · 댓글 69 바이두, 효율성 중심의 초거대 언어모델 ERNIE 5.5 Flash 공개 바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. AI · 머신러닝 · Baidu released ERNIE 5.5 Flash Base
Key Point 개발자가 자체 파인튜닝에 집중할 수 있도록 사전학습 체크포인트를 그대로 공개했고, 아키텍처 전반에서 활성 파라미터를 줄인 희소 모델로 훈련 및 추론 비용을 절감할 수 있게 설계했다.
핵심 요약
바이두가 기반 모델 ERNIE-5.5-Flash-Base를 공개했다. 총 280B 파라미터 중 토큰당 14B만 활성화되는 희소 MoE 모델로, 33.5T 토큰에서 사전학습되었고 최대 128K 컨텍스트로 학습, 추론 시 1M 토큰을 지원한다. 사전학습 종료 직후의 가중치를 제공하므로, 도메인 적응·명령어 튜닝·강화학습 연구의 출발점으로 사용 가능하다. 모델은 효율성을 최우선으로 설계했다. 43개 레이어 중 37개는 128배 압축된 시퀀스를 처리하는 HCA(Heavily Compressed Attention)를 사용하고, 6개만 전체 컨텍스트에 접근하는 MLA(Multi-head Latent Attention)를 사용한다. 전체 요약 10문장 읽기 → 005 12:11 ▲ 10 · 댓글 5 기존 언어모델을 확산 모델로 변환하는 LoRA 기법 공개 자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. AI · 머신러닝 · BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
Key Point 확산 모델의 장점(병렬 토큰 업데이트, 유연한 생성)을 기존 오픈소스 언어모델에 저비용으로 적용하는 실용적 경로를 제시하며, 어댑터 학습만으로 대규모 재학습 없이 변환 가능함을 처음 증명했다.
핵심 요약
자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, Ministral 8B 등 4개 모델에 LoRA 어댑터만으로 확산 생성 기능을 추가했으며, Mistral 모델의 AR-to-DLM 변환은 처음 보고된 사례다. 어댑터는 최종 파라미터의 4.1-5.8%만 차지하며 기본 모델 파라미터는 모두 동결된 상태로 유지된다. 전체 요약 9문장 읽기 → 006 03:11 ▲ 47 · 댓글 3 LLM의 연구 안목, 인간 과학자보다 훨씬 떨어진다 연구 안목(어떤 논문을 읽고 어떤 문제를 추구할지 판단하는 능력)은 AI 과학자의 업무에 점점 중요해지지만 실행 능력보다 덜 이해되고 있다. AI · 머신러닝 · IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
Key Point LLM이 인간 연구자처럼 '어떤 연구가 가치 있는가'를 판단하는 능력은 매우 부족하며, 방향 설정이 아닌 구체적 접근법 수립이 핵심 과제임을 보여주는 첫 대규모 실증이다.
핵심 요약
연구 안목(어떤 논문을 읽고 어떤 문제를 추구할지 판단하는 능력)은 AI 과학자의 업무에 점점 중요해지지만 실행 능력보다 덜 이해되고 있다. IdeaTaste는 2025년 논문 데이터로부터 LLM이 생성한 연구 제안이 2026년 실제 발표된 논문과 얼마나 일치하는지 평가하는 벤치마크다. 6개 언어모델과 4개 연구 분야에서 90,000개 이상 제안을 평가한 결과, LLM은 인간 수준의 26%만 인용 일치도를, 18%만 아이디어 일치도를 달성했다. 전체 요약 9문장 읽기 → 007 00:11 ▲ 15 · 댓글 2 작은 의사결정 모델, 큰 언어모델 앞지르다 의사결정 모델은 구조화된 작업에서 선택지나 점수를 직접 예측해 자동회귀 디코딩 지연을 피하지만, 생성형 LLM의 순위 매김 지식을 이전하기는 어렵다. AI · 머신러닝 · DecisionRank: On-Policy Distillation for Decision-Model Rerankers
Key Point 구조화된 검색 작업에서 작은 모델이 큰 모델 수준의 성능을 크게 빠른 속도로 달성하는 방법이 나왔기 때문에, 정보 검색 시스템의 효율성이 크게 개선될 가능성이 있다.
핵심 요약
의사결정 모델은 구조화된 작업에서 선택지나 점수를 직접 예측해 자동회귀 디코딩 지연을 피하지만, 생성형 LLM의 순위 매김 지식을 이전하기는 어렵다. 의사결정 모델(학생)은 첫 토큰 위치의 점수로 순위를 정하는 반면 생성형 교사는 문서 ID 수열의 순위 목록으로 선호도를 표현하기 때문이다. DecisionRank는 항목 공간 정책상 증류(item-space OPD) 기법으로 학생 모델을 학습한다. 전체 요약 7문장 읽기 → 008 00:11 ▲ 436 · 댓글 87 Astra 가중치 읽기·쓰기 논문의 주장은 과장됐다 'Astra가 가중치를 읽고 쓰면서 Qwen을 개선한다'는 논문이 마술 속임수처럼 여러 기법을 섞어 표현하고 있다고 비판한다. AI · 머신러닝 · The 'Astra can read and write weights to improve Qwen' post is misleading
Key Point Astra 논문이 대규모 언어모델 개선 결과를 강조하면서 핵심 기법의 범위를 명확히 하지 않아, 독자들이 실제 기능을 잘못 이해할 수 있는 상황을 지적합니다.
핵심 요약
'Astra가 가중치를 읽고 쓰면서 Qwen을 개선한다'는 논문이 마술 속임수처럼 여러 기법을 섞어 표현하고 있다고 비판한다. 논문의 추상화는 'Astra가 생 가중치만 봐도 무엇을 하는지 알 수 있고 코드 피드백 없이 네트워크를 만들 수 있다'고 주장하지만, 실제로는 그렇지 않다. 실험을 분류하면 생 가중치만 읽는 실험(17K~172K 모델, 4개)과 Python 코드를 사용하는 실험(언어모델 포함, 4개)이 섞여 있다. 전체 요약 8문장 읽기 → 009 21:11 ▲ 102 · 댓글 30 LLM 학습 데이터 독(毒)으로 AI 에이전트에 백도어 심기 대규모 언어모델은 웹에서 수집한 검증 없는 대량의 데이터로 학습하는데, 여기서 의도적인 악의적 콘텐츠 주입이 보안 위험이 된다. AI · 머신러닝 · Agentic backdoors via pretraining poisoning
Key Point 학습 데이터 독으로 설치된 백도어가 배포 후 원격 코드 실행을 일으킬 수 있으며, 극소량의 독도 높은 성공률을 보여 실제 모델 공급망 보안 위협이 현실화했기 때문입니다.
핵심 요약
대규모 언어모델은 웹에서 수집한 검증 없는 대량의 데이터로 학습하는데, 여기서 의도적인 악의적 콘텐츠 주입이 보안 위험이 된다. 연구팀이 처음으로 학습 데이터 독으로 에이전트에 원격 코드 실행 백도어를 심을 수 있음을 입증했다. Qwen3 모델을 0.6B, 1.7B, 4B 크기로 처음부터 학습한 뒤 각각을 CLI 에이전트로 변환해 실험했다. 전체 요약 7문장 읽기 → 010 21:11 당일 +479 $100으로 GPT-2급 AI 모델을 직접 훈련하는 nanochat 공개 Andrej Karpathy가 nanochat을 공개했으며, 이는 단일 GPU 노드에서 LLM 전체 파이프라인(토큰화, 사전학습, 미세조정, 평가, 추론)을 실행할 수 있는 최소한의 실험 코드다. AI · 머신러닝 · karpathy/nanochat · Python
Key Point 2019년에 $43,000 들던 GPT-2 훈련 비용이 7년 간의 기술 진전으로 $48 수준까지 내려왔으며, 누구든 8XH100 GPU 접근만으로 직접 대형언어모델을 학습하고 운영할 수 있는 경제학적 변화가 일어나고 있다.
핵심 요약
Andrej Karpathy가 nanochat을 공개했으며, 이는 단일 GPU 노드에서 LLM 전체 파이프라인(토큰화, 사전학습, 미세조정, 평가, 추론)을 실행할 수 있는 최소한의 실험 코드다. GPT-2 수준의 모델을 8개의 H100 GPU로 약 1.5~2시간 만에 $48 정도의 비용으로 훈련할 수 있으며, 스팟 인스턴스 사용 시 $15 수준까지 내려간다. 코드는 --depth 하나의 파라미터로 모델 규모를 조절하면 변압기의 폭, 헤드 수, 학습률, 가중치 감소 등 다른 모든 하이퍼파라미터가 자동으로 최적으로 계산된다. 전체 요약 10문장 읽기 → 011 18:11 ▲ 39 · 댓글 2 이미지 생성을 위한 '연속 공간 추론' 통합 멀티모달 모델 LARC 통합 멀티모달 모델(UMM)이 다양한 멀티모달 작업에서 성공하지만, 언어 기반 사고 체인을 활용한 이미지 생성에서는 약점을 보인다. AI · 머신러닝 · Latent Reasoning in Continuous Space for Unified Multimodal Models
Key Point 이미지 생성 모델에서 추론과 생성의 공간 불일치를 해결하는 새로운 접근법으로, 테스트 시간 스케일링과 더 나은 제어 능력을 가능하게 한다.
핵심 요약
통합 멀티모달 모델(UMM)이 다양한 멀티모달 작업에서 성공하지만, 언어 기반 사고 체인을 활용한 이미지 생성에서는 약점을 보인다. 기존 추론 강화 모델들은 큰언어모델처럼 테스트 시간 스케일링이나 세밀한 제어 능력을 갖지 못하는데, 추론이 이산 토큰 공간에서 이뤄지면서 이미지 생성의 연속 공간과 불일치하기 때문이다. 연속 공간 잠재 추론(LARC) 프레임워크는 연속 숨겨진 상태를 기반으로 추론하여 토큰 수준의 병목을 해결한다. 전체 요약 6문장 읽기 → 012 15:11 ▲ 20 · 댓글 2 소형 언어모델로 로봇 조작 명령 프로그래밍하기 로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다. AI · 머신러닝 · CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents
Key Point 로봇 조작 AI를 프론티어 모델 의존에서 벗어나 오픈소스 소형 모델로도 실현할 수 있게 하는 구체적 방법과 검증 결과를 제시한다.
핵심 요약
로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다. 연구팀이 공개한 CaPtain은 소형 오픈소스 비전-언어 모델(Qwen 3.5-4B)을 미세조정과 강화학습으로 독립적인 로봇 정책 에이전트로 훈련하는 파이프라인이다. 파이프라인은 CaPtain-Harness라는 프레임워크 위에서 동작하며, 로봇 API, 저수준 인지·기하학·안전 이동 원시 동작을 시뮬레이션과 실제 하드웨어에서 노출한다. 전체 요약 8문장 읽기 → 013 12:11 ▲ 17 · 댓글 3 멀티토큰 예측, KL 신호 복원으로 한 줄 개선 Multi-Token Prediction(MTP)은 언어모델 사전학습에서 다음토큰 예측과 추론 속도를 모두 개선하지만, 표준 MTP 훈련에 결함이 있어 모델 규모가 커질수록 그래디언트 간섭 문제가 심해진다. AI · 머신러닝 · Multi-Token Prediction Done Right
Key Point 언어모델 훈련의 표준 기법인 MTP의 수학적 결함을 밝혀내고 한 줄 코드 변경으로 해결하는 방법을 제시했기 때문에, 대규모 모델 훈련 효율과 추론 속도를 동시에 개선할 수 있다.
핵심 요약
Multi-Token Prediction(MTP)은 언어모델 사전학습에서 다음토큰 예측과 추론 속도를 모두 개선하지만, 표준 MTP 훈련에 결함이 있어 모델 규모가 커질수록 그래디언트 간섭 문제가 심해진다. MTP 교차엔트로피 그래디언트는 수학적으로 분해되는데, 유용한 KL 자기증류 항과 신호대잡음비가 낮은 잔여항으로 나뉜다. 저자들은 KL 그래디언트 복원 트릭을 제시했다: 두 분포가 선형 출력층을 공유할 때, 스트레이트스루 그래디언트 라우팅으로 교차엔트로피 그래디언트를 조합하여 KL 발산의 그래디언트를 정확히 복원할 수 있다. 전체 요약 9문장 읽기 → 014 12:11 ▲ 10 · 댓글 4 영상 이해 AI, 불확실할 땐 질문하게 하기 멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다. AI · 머신러닝 · AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
Key Point 스트리밍 비디오 분석 AI가 정보 부족 상황을 인식하고 능동적으로 질문하도록 훈련할 수 있는지가 새로운 기술 과제가 되고 있기 때문입니다.
핵심 요약
멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다. 기존 주도적 상호작용 방식은 답변에 필요한 정보가 완전하다고 가정해 모델이 대기하거나 답하기만 하도록 설계됐으나, 실제로는 영상이나 사용자 질문의 불확실성으로 정보가 불완전한 경우가 많다. 불완전한 정보 상황에서 기존 방식은 모델이 영원히 대기하거나 환각적 응답을 생성하는 문제를 야기한다. 전체 요약 8문장 읽기 → 015 06:11 ▲ 116 · 댓글 10 LLM의 '잠자기' 단계로 지속학습과 기억력 문제 해결 구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다. AI · 머신러닝 · Sleep framework: A new way for LLMs to retain knowledge in continual learning
Key Point LLM이 새로운 정보를 학습하면서 기존 지식을 잃지 않고 맥락도 10배 이상 확장하는 핵심 기술이 어떻게 작동하는지 이해할 수 있고, 산업 배포된 모델의 적응력 문제를 근본적으로 해결하는 가능성을 보여준다.
핵심 요약
구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다. 기존 LLM은 배포 후 고정된 학습 시점을 유지하거나, 문맥 윈도우 내에서만 정보를 보유하는 한계가 있고, 새로운 데이터로 업데이트하면 이전 학습 내용을 잊는 '재앙적 망각(catastrophic forgetting)' 문제가 발생한다. 수면 프레임워크는 활동(깨어있는) 단계와 오프라인 메모리 통합(수면) 단계를 번갈아가며 작동한다. 전체 요약 13문장 읽기 → 016 00:11 ▲ 13 · 댓글 3 하나의 모델로 모든 형식 파싱하는 유투 옴니 파서 공개 유투 파싱 옴니는 문서, 이미지, 오디오, 비디오를 구조화된 기록으로 변환하는 멀티모달 파서로, 공간과 시간에 기반해 증거를 찾고 인용할 수 있다. AI · 머신러닝 · Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
Key Point 멀티모달 구조화 파싱을 하나의 소규모 모델로 처리하면서 각 모달리티별 전문 모델 수준의 성능을 달성한 방식이 기술적으로 의미 있으며, 공개 모델로서 개발자들이 실제로 활용할 수 있는 선택지를 제공한다.
핵심 요약
유투 파싱 옴니는 문서, 이미지, 오디오, 비디오를 구조화된 기록으로 변환하는 멀티모달 파서로, 공간과 시간에 기반해 증거를 찾고 인용할 수 있다. 모든 모달리티를 하나의 인코더로 처리하고 모든 태스크를 하나의 스키마로 통일한 설계를 기반으로 한다. 유투 옴니 인코더는 사전학습 언어모델에서 초기화되어 모든 모달리티를 통일된 시공간 좌표계에서 공유 가중치로 인코딩하며, 퓨전 레이어가 비디오 프레임의 동시 오디오 어텐션을 가능하게 한다. 전체 요약 9문장 읽기 → 017 18:11 ▲ 14 · 댓글 2 스포츠·헬스 AI 코칭 평가하는 새 벤치마크 공개 스포츠·헬스 도메인에 맞춘 대규모언어모델(LLM) 평가 기준이 부족해 안전하지 않은 조언 전달 위험이 높다. AI · 머신러닝 · MoveBench: A Rubric-Based Benchmark for Evaluating Large Language Models in Sports and Health Coaching
Key Point 피트니스·헬스 AI 조언이 위험할 수 있는 이유는 평가 기준이 없기 때문이며, 첫 전문 벤치마크가 현재 LLM의 안전성 격차를 드러냈기 때문이다.
핵심 요약
스포츠·헬스 도메인에 맞춘 대규모언어모델(LLM) 평가 기준이 부족해 안전하지 않은 조언 전달 위험이 높다. 기존 MMLU·HELM 같은 범용 벤치마크는 광범위한 지식만 측정할 뿐 운동 안전성·생리학적 적절성·개인화·실행 가능한 코칭 품질을 평가하지 못한다. 이를 해결하기 위해 MoveBench 벤치마크를 개발했다. 스포츠·헬스 코칭 LLM 평가 전문 프레임워크다. 전체 요약 8문장 읽기 → 018 12:11 ▲ 11 · 댓글 3 인도 은행 챗봇의 절차 준수 평가하는 벤치마크 공개 인도 은행들이 운영하는 챗봇과 FAQ 시스템을 언어모델로 개선하려면 고객 요청을 올바르게 처리하면서 은행의 규칙과 절차를 따르는지 측정해야 한다. AI · 머신러닝 · TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
Key Point 인도 은행권의 챗봇 배포가 증가하면서 절차 준수를 무시하고 최종 결과만 맞은 모델을 걸러내는 평가 기준의 필요성이 대두되고 있다.
핵심 요약
인도 은행들이 운영하는 챗봇과 FAQ 시스템을 언어모델로 개선하려면 고객 요청을 올바르게 처리하면서 은행의 규칙과 절차를 따르는지 측정해야 한다. 기존 벤치마크는 대화 마지막의 최종 기록만 검증하는데, 카드 차단이나 예금 폐기 등 많은 필수 단계가 기록에 반영되지 않아서 절차를 건너뛴 어시스턴트도 성공으로 판정될 수 있다. 연구팀이 공개한 TauIndianBankBench는 인도 소매금융 업무 1000개를 포함한 액션 기반 벤치마크로, 시뮬레이션 고객과 상호작용하는 어시스턴트를 평가한다. 전체 요약 5문장 읽기 → 019 00:11 새 버전 허깅페이스 Transformers v5.22.0, 미스트랄 라지 4 모델 지원 미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다. AI · 머신러닝 · huggingface/transformers@v5.22.0
Key Point 1조 파라미터 오픈 가중치 멀티모달 모델의 등장으로 로컬 추론과 파인튜닝이 가능해지며, 기존 폐쇄형 모델과 경쟁 가능한 성능(사이버보안·금융·법률·시각적 근거 찾기)을 제시한다.
핵심 요약
미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다. 유럽 미스트랄 데이터센터의 3800개 엔비디아 그레이스 블랙웰 GPU로 처음부터 학습했으며, 명령어 따르기·추론·코딩·에이전트 작업을 단일 가중치로 통합한다. 160개 이상의 언어에 네이티브로 유창하며, EU 공식 언어 전체를 지원한다. 전체 요약 10문장 읽기 → 020 18:11 ▲ 33 · 댓글 2 엔비디아, 시각·생성 통합한 확산 언어모델 공개 엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. AI · 머신러닝 · Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation
Key Point 단일 모델에서 시각 이해와 생성을 모두 처리하고자 하는 개발자들에게 새로운 아키텍처와 훈련 방법이 어떻게 여러 작업에 동시에 최고 성능을 달성했는지 보여준다.
핵심 요약
엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. 기존 확산 모델과 달리 자동회귀 VLM의 이해 능력과 연속 흐름 모델의 생성 능력을 교차 패러다임 온-정책 증류(OPD)로 통합했다. 훈련 시 이미지 토큰을 마스크로 직접 손상시키는 기존 방식 대신, 여러 단계에 걸쳐 각 토큰을 점진적으로 손상시키는 자가-정제 확산 프로세스를 도입했다. 전체 요약 5문장 읽기 → 021 12:11 ▲ 10 · 댓글 6 제약 디코딩, LLM 성능 해친다는 가정 재검토 대형언어모델(LLM)의 제약 디코딩은 출력을 미리 정한 형식으로 제한하지만 추론 능력을 해친다는 통설을 검토했다. AI · 머신러닝 · Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
Key Point LLM의 출력 제약이 성능을 꼭 해치지 않는다는 실증적 증거로, 프롬프트 엔지니어링과 추론 시스템 설계 방식을 다시 생각하게 한다.
핵심 요약
대형언어모델(LLM)의 제약 디코딩은 출력을 미리 정한 형식으로 제한하지만 추론 능력을 해친다는 통설을 검토했다. 연구팀은 제약을 형식 제약(출력 구조 강제), 타당성 제약(잘못된 답 마스킹), 추론 제약(추론 경로 제한) 세 가지로 분류했다. 이론적으로 적절한 제약이 무효한 경로를 제거해 성능을 유지하거나 개선할 수 있음을 보였다. 전체 요약 8문장 읽기 → 022 09:11 ▲ 106 · 댓글 17 엔비디아, 40개 언어 지원하는 오픈 음성인식 모델 공개 엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다. AI · 머신러닝 · Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
Key Point 음성-텍스트 변환이 대규모 언어모델의 다음 병목이 되는 시점에 40개 언어를 지원하고 프롬프트·미세조정으로 도메인 적응이 가능한 오픈 모델이 공개됨에 따라, 음성 애플리케이션 개발 환경이 크게 바뀐다.
핵심 요약
엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다. 최대 1시간 길이 음성을 처리하고 최대 8명의 화자를 레이블링하며, 자연어 프롬프트로 출력을 제어할 수 있어 의료 받아쓰기·다국어 회의 등 도메인별 요구에 맞춘 결과를 얻을 수 있다. Hugging Face 오픈 ASR 리더보드 영어 부문에서 5.33% 평균 WER로 오픈 가중치 모델 중 1위, Artificial Analysis 레더보드에서 약 4B 활성 매개변수로 2.8% AA-WER을 달성해 파레토 경계에 위치한다. 전체 요약 12문장 읽기 → 023 03:11 ▲ 16 · 댓글 2 AI 에이전트가 언어모델을 자동으로 개선할 수 있을까 언어모델의 자동 개선(재귀적 자기개선)을 평가하는 'ParetoRSI-Gym' 벤치마크를 제안했다. AI · 머신러닝 · ParetoRSI-Gym: Can AI Agents Improve Language Models Across Multiple Domains?
Key Point 다중 도메인 환경에서 AI 에이전트가 언어모델을 자동으로 개선할 수 있는지를 체계적으로 평가하는 첫 시도로, 한 분야의 성능 향상이 다른 분야를 해치는 트레이드오프까지 고려한 현실적 평가 틀을 제시한다.
핵심 요약
언어모델의 자동 개선(재귀적 자기개선)을 평가하는 'ParetoRSI-Gym' 벤치마크를 제안했다. 에이전트가 데이터를 검색·선별하고 모델을 훈련한 뒤 도메인별 결과를 읽으며 반복하는 과정을 시뮬레이션한다. 수학·코드·금융·의학·과학 다섯 개 도메인에서 성능을 측정하되, 각 도메인마다 과적합 판단용 별도 벤치마크를 둔다. 전체 요약 7문장 읽기 → 024 00:11 ▲ 15 · 댓글 2 음성·영상 AI가 실시간 상황에 제때 반응하지 못한다 옴니모달 대형언어모델(Omni-LLM)이 계속 스트리밍되는 음성·영상을 관찰하면서 사용자를 지원할 수 있어야 하는데, 기존 평가 방식으로는 이들이 얼마나 신뢰성 있게 상황 증거와 사용자 필요를 연결해 적시에 개입하는지 알기 어렵다. AI · 머신러닝 · Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams
Key Point 음성·영상 AI가 실시간으로 상황을 인식하고 제때 도움을 주는 것이 얼마나 어려운지 첫 대규모 벤치마크로 드러나, 현재 모델의 한계와 개선할 구체적 방향을 보여준다.
핵심 요약
옴니모달 대형언어모델(Omni-LLM)이 계속 스트리밍되는 음성·영상을 관찰하면서 사용자를 지원할 수 있어야 하는데, 기존 평가 방식으로는 이들이 얼마나 신뢰성 있게 상황 증거와 사용자 필요를 연결해 적시에 개입하는지 알기 어렵다. Omni-InteractScope 벤치마크는 8개 작업군에 걸친 1,479개 인간 주석 상호작용과 1,790개 시간 목표를 제시한다. 도구 호출(tool invocation) 타이밍, 쿼리 없는 조언, 알림, 경고, 상태 추적, 지속적 응답을 포함해 입력 모달리티·사건 트리거·개입 유형·사용자 필요를 연결한다. 전체 요약 8문장 읽기 → 025 15:11 ▲ 39 · 댓글 2 AI 에이전트가 독립적으로 언어모델 학습, 인간 피드백으로 개선 AI 에이전트가 자율적으로 언어모델을 학습하고 사용자 피드백으로 개선할 수 있는지 확인하는 RSI Arena 연구를 공개했다. AI · 머신러닝 · RSI Arena: Towards Recursive Self-Improvement with Human Feedback
Key Point AI 모델 개발 주도권이 인간에서 AI로 이동할 가능성을 보여주는 연구로, 인간 피드백이 자율 시스템에 어떻게 통합되는지 실증적으로 보여준다.
핵심 요약
AI 에이전트가 자율적으로 언어모델을 학습하고 사용자 피드백으로 개선할 수 있는지 확인하는 RSI Arena 연구를 공개했다. 10개 프론티어 모델을 학습 에이전트로 사용해, 각각 1,000 GPU시간과 $300의 API 크레딧을 주고 6일간 독립적으로 데이터 선택·학습·체크포인트 선택을 하게 했다. 모든 10개 에이전트가 작동하는 어시스턴트를 만들었으며, GPT-6 Astra가 학습한 최강 모델은 12개 성능 벤치마크에서 기본 모델과 Instruct 버전의 중앙값 차이의 76%를 좁혔다. 전체 요약 8문장 읽기 → 026 12:11 ▲ 26 · 댓글 2 LLM 환각 탐지 벤치마크 비교 불가능한 이유 대규모언어모델(LLM)의 환각 탐지는 모델 평가와 배포에 점점 중요해지고 있으나, 기존 방법들은 서로 다른 정의와 측정 방식을 쓰는 벤치마크에서 비교되고 있다. AI · 머신러닝 · Mycelium: A Meta-Study of Hallucination Detection Across Provenance, Typology, and Granularities
Key Point LLM 성능을 평가하는 핵심 지표인 환각 탐지가 벤치마크마다 다르게 정의되고 측정되기 때문에, 어떤 방법이 실제로 더 나은지 판단할 수 없다는 문제를 드러낸다.
핵심 요약
대규모언어모델(LLM)의 환각 탐지는 모델 평가와 배포에 점점 중요해지고 있으나, 기존 방법들은 서로 다른 정의와 측정 방식을 쓰는 벤치마크에서 비교되고 있다. 연구팀은 환각 탐지를 벤치마크 조건부 측정 문제로 보고, 세 가지 축으로 기존 벤치마크들을 분류했다: 모델 출력과 근거 조건을 어떻게 얻는지를 설명하는 '출처', 사실성과 충실성 오류를 어떻게 정의하는지를 나타내는 '유형분류', 환각을 어떤 단위로 주석·예측·평가하는지를 명시하는 '단위'이다. 벤치마크 구성, 주석 방식, 평가 방법의 차이가 예측 작업에 어떻게 영향을 미치고, 탐지기의 메커니즘과 가정이 어떤 조건에서 성능을 보이는지를 분석했다. 전체 요약 5문장 읽기 → 027 12:11 ▲ 46 · 댓글 2 확산 언어 모델의 추측 디코딩 가속화 기법 SPOT 제안 확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다. AI · 머신러닝 · On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
Key Point 확산 언어 모델의 속도 문제를 해결하는 새로운 추측 디코딩 기법으로, 토큰 위치 순서 예측이라는 핵심 인사이트를 통해 정확성을 유지하면서 6배 이상의 가속화를 달성했으며, 학습된 드래프터가 여러 모델에 전이 가능해 실용성이 높다.
핵심 요약
확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다. 정확한 디코딩은 모델 패스당 하나의 마스킹된 위치만 채우고, 빠른 멀티토큰 디코딩은 품질 손실이 발생한다. 추측 디코딩은 자동회귀 모델의 표준 가속 기법이지만 DLM에 직접 적용되지 않는데, DLM은 무엇을 생성할지뿐 아니라 어디에 생성할지를 선택해야 하기 때문이다. 전체 요약 11문장 읽기 → 028 12:11 ▲ 418 · 댓글 2 공간 인식 AI, 다중 질문 형식을 동시에 학습하는 기법 제시 공간 비전언어모델(VLM)을 단일 형식으로 학습하면 한 종류의 질문(예: 사물의 위치)에만 성능이 높고 다른 형식(거리 추정)으로의 전이가 약해지는 '인터페이스 락-인' 현상이 발생한다. AI · 머신러닝 · ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence
Key Point 공간 인식 AI가 여러 형식의 질문을 동시에 잘 답하기 위한 학습 구조를 제시해 멀티태스크 비전언어모델의 효율성을 크게 높일 수 있는 실마리를 제공한다.
핵심 요약
공간 비전언어모델(VLM)을 단일 형식으로 학습하면 한 종류의 질문(예: 사물의 위치)에만 성능이 높고 다른 형식(거리 추정)으로의 전이가 약해지는 '인터페이스 락-인' 현상이 발생한다. ChronoReplay는 다양한 공간 감독을 시간 순서대로 에피소드 형태로 반복 재생하고 각 형식의 원본 목표를 유지하면서 감독 신호를 균형 있게 분배하는 방식으로 이 문제를 해결한다. 동일한 시각 정보 접근 조건에서 ChronoReplay 체크포인트는 OVO-S-Bench, OST-Bench, UCS-Bench 세 벤치마크를 동시에 개선하며, 특히 OST-Bench에서 13.41포인트 향상을 달성했다. 전체 요약 6문장 읽기 → 029 09:11 ▲ 10 · 댓글 2 멀티모달 AI, 이미지·영상에서 위치 지정과 설명을 동시에 학습하다 이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다. AI · 머신러닝 · Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
Key Point 기존의 분리된 학습 방식에서 벗어나 이미지와 영상의 위치 정렬과 설명을 통합으로 개선하는 새로운 강화학습 접근법이 제시되었으며, 실제 성능 향상으로 검증되었다.
핵심 요약
이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다. CycleGRPO라는 강화학습 프레임워크를 제시하는데, 한 번에 두 방향(영역→설명, 설명→영역)을 배우는 순환 구조로 작동한다. 모델이 영역에 대한 후보 설명을 생성하고, 각 설명을 역으로 정렬해 원래 영역을 재구성한 뒤, 재구성 겹침을 보상으로 사용한다. 전체 요약 9문장 읽기 → 030 06:11 ▲ 135 · 댓글 64 아마존, AI 사업 대폭 축소 후유증 아마존이 자체 AI 연구소를 대폭 축소하고 있다. ChatGPT, Claude, Gemini 같은 대형 언어모델과 달리 아마존의 Nova는 시장에서 주목받지 못했다. AI · 머신러닝 · Amazon Is Gutting Its AI Division After Sustained Failure
Key Point 아마존 같은 거대 기술 기업도 LLM 투자에서 손을 떼고 있다는 신호는 AI 산업의 현실을 보여주며, 어느 분야가 실질적 가치를 만드는지 재평가하는 전환점이 될 수 있다.
핵심 요약
아마존이 자체 AI 연구소를 대폭 축소하고 있다. ChatGPT, Claude, Gemini 같은 대형 언어모델과 달리 아마존의 Nova는 시장에서 주목받지 못했다. 아마존은 Nova 텍스트 모델, 영상·이미지 생성 모델 등 대부분의 AI 모델을 '점화 유지' 상태로 전환했다. 이는 기술적으로 지원되지만 최소한의 리소스만 할당받는 상태를 뜻한다. 회사의 노동력과 컴퓨팅 파워를 단 하나의 목표로 집중시켰다. 2024년 인수한 로봇 회사 Covariant의 수장 Pieter Abbeel이 주도하는 '프론티어 모델' 개발에 중점을 두고 있다. 전체 요약 6문장 읽기 → 031 00:11 ▲ 24 · 댓글 2 저정밀 연산 RL에서 성능과 안정성을 동시에 확보한 miniTE 공개 Native NVFP4는 대형언어모델(LLM) 강화학습을 가속화할 수 있지만, 학습 엔진과 샘플링 엔진 사이의 수치 실행 일관성 유지가 어려운 문제가 있다. AI · 머신러닝 · miniTE: Diagnosing and Bridging the Execution Gap in Native NVFP4 Reinforcement Learning
Key Point LLM 강화학습에서 저정밀 연산의 수치 안정성 문제를 해결하고 1.4배 이상의 처리 속도 향상을 달성한 기술이 공개되어, 더 효율적이고 저비용의 LLM 학습이 가능해진다.
핵심 요약
Native NVFP4는 대형언어모델(LLM) 강화학습을 가속화할 수 있지만, 학습 엔진과 샘플링 엔진 사이의 수치 실행 일관성 유지가 어려운 문제가 있다. 단순히 모델 가중치와 수치 형식을 맞추는 것만으로는 일관된 정책 평가를 보장할 수 없으며, 크로스 엔진 수치 정렬이 중요함을 확인했다. miniTE는 실행 진단, 크로스 엔진 수치 정렬, W4A4 GEMM 계산을 결합한 경량 프레임워크로, RL 목적함수를 수정하지 않으면서도 수치 일관성을 개선한다. 전체 요약 6문장 읽기 → 032 21:11 ▲ 48 · 댓글 2 긴 영상의 짜깁기 조작 찾기, 음성과 영상 동시 분석 장시간 영상에서 일부 구간만 조작된 AI 딥페이크를 탐지하는 기존 벤치마크가 부족해, 연구팀이 AV-FABLE 데이터셋을 공개했다. AI · 머신러닝 · AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos
Key Point 장시간 영상에서 일부만 조작된 디프페이크를 정확히 찾아내야 하는 콘텐츠 검증, 미디어 포렌식 분야에서 음성-영상 동시 분석이 필수적이 되고 있기 때문이다.
핵심 요약
장시간 영상에서 일부 구간만 조작된 AI 딥페이크를 탐지하는 기존 벤치마크가 부족해, 연구팀이 AV-FABLE 데이터셋을 공개했다. AV-FABLE은 16,650개의 원본-조작 쌍(총 998시간)으로 이루어지며, 27가지 편집 설정으로 제작되고 음성과 영상 타임라인을 분리해 제공한다. 기존 음성-영상 대형언어모델(AV-LLM)을 제로샷 프롬프팅으로 테스트하면 조작 탐지 성능이 거의 무작위 수준이고 시간 위치 파악도 부정확하다. 전체 요약 7문장 읽기 → 033 18:11 ▲ 136 · 댓글 2 강화학습 자기 증류로 언어모델 추론 능력 향상 언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. AI · 머신러닝 · Function-Space Temporal Self-Distillation for Policy Optimization
Key Point 언어모델 훈련 효율성과 메모리 사용량을 동시에 개선하는 새로운 자기 증류 방식이 공개되어, 대규모 모델 개발 비용 절감에 관심 있는 연구자와 개발자가 참고할 만하다.
핵심 요약
언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. 자기 증류는 보조 없는 정책과 피드백 기반 자기교사를 비교해 토큰 수준의 밀집된 지도를 제공하지만, 교사 모델이 학생과 함께 진화하면서 불안정한 목표와 추가 정규화의 필요성을 야기한다. 논문은 함수 공간 정책 최적화(FSPO)를 제안하며, 현재 특권화된 적응과 함수 공간 시간적 통합을 하나의 정책 프레임워크에서 결합한다. 전체 요약 8문장 읽기 → 034 18:11 ▲ 24 · 댓글 2 대규모 언어모델의 자동 개선, 안전성을 어떻게 보장할까 대규모 모델 기반 AI 시스템은 경험과 피드백으로 모델·프롬프트·메모리·도구·워크플로우를 지속적으로 변경하고, 이 개선 과정 자체도 수정해 반복 적용하는 재귀적 자동 개선(RSI)을 한다. AI · 머신러닝 · Trustworthy Recursive Self-Improvement in the Era of Large Models: Foundation, Risks, Evaluation and Open Challenges
Key Point 큰 모델이 스스로 개선하는 시대가 오고 있는데, 그 과정에서 안전성·투명성·제어 가능성을 어떻게 보장할지가 AI 신뢰성의 핵심 문제이기 때문이다.
핵심 요약
대규모 모델 기반 AI 시스템은 경험과 피드백으로 모델·프롬프트·메모리·도구·워크플로우를 지속적으로 변경하고, 이 개선 과정 자체도 수정해 반복 적용하는 재귀적 자동 개선(RSI)을 한다. 자동 개선이 신뢰할 수 있으려면 평가 결과가 정확하고, 기존 능력이 퇴화하지 않으며, 행동 제약이 유지되어야 하며, 민감 정보가 후속 시스템에 남지 않아야 한다. 개선 메커니즘 변경 시 이전 검증 결과가 무효화되고 인간의 감시 효과가 떨어질 수 있어, 신뢰성 있는 RSI는 투명성과 제어 가능성을 필수적으로 요구한다. 전체 요약 7문장 읽기 → 035 15:11 ▲ 123 · 댓글 2 사람의 물리적 행동을 돕는 AI 어시스턴트 평가 벤치마크 공개 착용형 기기의 다중모달 대형언어모델(MLLM) 어시스턴트가 사용자를 가이드하고 지시하는 상황을 평가하기 위해 InteractiveWorld라는 검증 가능한 환경을 제안했다. AI · 머신러닝 · InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
Key Point 지능형 어시스턴트가 실제로 사람의 물리적 작업을 도울 수 있는지 검증할 수 있는 표준화된 평가 체계가 처음 등장했으며, 현재 최신 모델들의 성능 한계가 명확히 드러났기 때문이다.
핵심 요약
착용형 기기의 다중모달 대형언어모델(MLLM) 어시스턴트가 사용자를 가이드하고 지시하는 상황을 평가하기 위해 InteractiveWorld라는 검증 가능한 환경을 제안했다. 기존 로봇 중심 시뮬레이터와 달리 InteractiveWorld는 AI 어시스턴트가 사람 에이전트에게 지시하고, 사람이 관찰·이해·독립적으로 행동하는 폐루프 상호작용을 현실적으로 모의한다. 어시스턴트의 명령이 실제 결과를 좌우하며, 상태 기반 리워드로 검증 가능하게 채점되는 방식이다. 전체 요약 6문장 읽기 → 036 03:12 ▲ 35 · 댓글 2 LLM이 스스로 학습한다, 외부 감시 없이 대규모 언어모델이 외부 교사나 인간이 만든 문제 없이 자가 학습으로 성능을 개선하는 온폴리시 자가 증류 방식을 재정의했다. AI · 머신러닝 · On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
Key Point 기존의 자가 학습은 인간의 감시가 필수였으나, 이 방식은 모델이 완전히 독립적으로 자신의 학습 자료를 만들고 개선할 수 있음을 입증했다.
핵심 요약
대규모 언어모델이 외부 교사나 인간이 만든 문제 없이 자가 학습으로 성능을 개선하는 온폴리시 자가 증류 방식을 재정의했다. 모델은 주제 설명만 받고 스스로 질문-답변 쌍과 고급 추론 과정을 생성하는 합성 커리큘럼을 구축한다. 완전히 인공적으로 생성한 정보로만 자가 증류를 수행해도 여러 영역에서 성능 개선이 가능하며, 학습하지 않은 영역의 능력도 유지된다. 전체 요약 5문장 읽기 → 037 18:11 ▲ 102 · 댓글 37 셀프-어텐션 없이 언어모델 성능 낼 수 있을까 논문은 시퀀스 모델링에서 셀프-어텐션이 반드시 필요한지 근본적으로 재검토한다. AI · 머신러닝 · Attention Is Not What You Need (2025)
Key Point 트랜스포머 아키텍처의 핵심인 어텐션 메커니즘 자체를 대체하는 기하학적 모델을 제시하며, 같은 성능을 유지하면서 더 해석 가능한 설계가 가능함을 시사한다.
핵심 요약
논문은 시퀀스 모델링에서 셀프-어텐션이 반드시 필요한지 근본적으로 재검토한다. 기존 멀티헤드 어텐션을 숨은 벡터들을 고차원 공간으로 끌어올리는 텐서 lifting 메커니즘으로 해석하되, 이는 수학적으로 불명확하고 여러 층을 거치면서 명시적 불변량으로 기술하기 어렵다고 주장한다. 대안으로 그래스만 다양체 기반 구조를 제안하며, 인과 그래스만 층은 토큰 상태를 선형 축약한 뒤 플뤼커 좌표로 인코딩된 저차수 부분공간의 제어된 변형을 통해 정보를 전파한다. 전체 요약 6문장 읽기 → 038 15:11 ▲ 37 · 댓글 2 음성·영상 추론 AI의 환각 현상, 증거 우선순위 재조정으로 해결 멀티모달 추론이 가능한 최신 대형언어모델(OLLM)이 음성과 영상을 함께 처리할 때 교차모달 환각이 발생하는 문제가 있다. AI · 머신러닝 · Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
Key Point 음성과 영상을 동시에 처리하는 멀티모달 AI 모델의 성능 문제를 추론 단계에서 해결하는 새로운 방법이 다양한 모델에서 검증되었기 때문이다.
핵심 요약
멀티모달 추론이 가능한 최신 대형언어모델(OLLM)이 음성과 영상을 함께 처리할 때 교차모달 환각이 발생하는 문제가 있다. 기존 방법들은 출력 단계에서만 처리하며 융합 표현 내의 근거 증거와 학습된 사전지식의 얽힘을 간과했다. Omni-Woodpecker(OWP)라는 훈련 불필요 프레임워크는 교차모달 충돌을 식별한 후 숨겨진 상태에서 증거와 경쟁하는 사전지식을 분리한다. 전체 요약 7문장 읽기 → 039 06:11 ▲ 295 · 댓글 147 10년 된 CNN이 최신 LLM을 이기다, 피부암 진단 2015년 구글이 발표한 Inception v3 CNN을 피부과 이미지로 20분 정도 미세조정한 모델이 GPT-6 Astra와 Claude Fable 5.1 두 최신 LLM을 피부암 진단에서 압도했다. AI · 머신러닝 · A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
Key Point 이 글은 대규모 언어모델의 의료 진단 능력이 특화된 구형 모델에 미치지 못한다는 구체적인 임상 증거를 보여주며, LLM이 모든 분야에서 기존 방식을 대체할 수 없음을 시사한다.
핵심 요약
2015년 구글이 발표한 Inception v3 CNN을 피부과 이미지로 20분 정도 미세조정한 모델이 GPT-6 Astra와 Claude Fable 5.1 두 최신 LLM을 피부암 진단에서 압도했다. 임상 사진과 피부경 이미지를 포함한 조직검사로 확진된 200개 병변 테스트에서 CNN은 125개(62%)를 올바르게 진단했지만 두 LLM은 각각 84개와 85개(42%)만 정확했다. 테스트 병변은 MILK10k 공개 데이터셋에서 무작위 선정했으며, 진단 불가능 범주 100개(흑색종 30, 기저세포암 25, 편평세포암 25, 광선각화증 20)와 안전 범주 100개(양성모반 50, 지루각화증 50)로 구성됐다. 전체 요약 12문장 읽기 → 040 18:11 ▲ 149 · 댓글 53 세레브라스, 3조개 파라미터 모델을 59개 웨이퍼에 분산 배포 세레브라스 WSE-3T 웨이퍼 하나는 44GB의 온칩 메모리를 가지지만, 조 단위 모델의 가중치는 테라바이트 규모여서 여러 웨이퍼에 분산 배포해야 한다. 인프라 · 데브옵스 · Cerebras Deploys Trillion-Parameter AI Models
Key Point 대규모 언어모델 추론 인프라의 실제 배포 방식을 보여주는 기술 사례로, GPU가 아닌 웨이퍼 기반 칩에서 조 단위 모델을 어떻게 효율적으로 운영하는지 알 수 있다.
핵심 요약
세레브라스 WSE-3T 웨이퍼 하나는 44GB의 온칩 메모리를 가지지만, 조 단위 모델의 가중치는 테라바이트 규모여서 여러 웨이퍼에 분산 배포해야 한다. 3조 파라미터 규모의 공개 모델 키미 K3를 예시로, 4비트 양자화 기준 각 레이어는 약 16GB가 필요하다. 키미 K3의 경우 69개 선형 주의 레이어(각 웨이퍼당 2개씩 배치 가능)와 24개 밀집 레이어(각 웨이퍼당 1개씩, 나머지는 KV 캐시용)로 총 59개 웨이퍼가 필요하다. 전체 요약 8문장 읽기 → 041 12:11 ▲ 14 · 댓글 8 자연어 정책을 신경기호 프로그램으로 컴파일하는 SCOPE LLM 에이전트의 정책 집행이 단일 턴 콘텐츠 검증에서 여러 턴의 대화와 도구 호출 궤적을 평가하는 복합 정책으로 진화했다. AI · 머신러닝 · SCOPE: Compiling Natural-Language Policies into Neurosymbolic Predicate Programs
Key Point 정책 집행의 정확도·안정성·비용·해석 가능성을 동시에 해결하는 신경기호 접근법이 저렴한 모델에서도 대규모 언어모델 수준의 성능을 낼 수 있음을 보여준다.
핵심 요약
LLM 에이전트의 정책 집행이 단일 턴 콘텐츠 검증에서 여러 턴의 대화와 도구 호출 궤적을 평가하는 복합 정책으로 진화했다. 미세 조정한 가드레일 모델은 빠르지만 복합 정책에서 성능이 저하되고, LLM-as-a-judge는 높은 정확도를 달성하지만 추론 비용이 높고 예측이 불안정하다. SCOPE는 정책을 신경 술어, 결정적 추출기, 이들의 출력을 조합하는 코드로 이루어진 실행 가능한 프로그램으로 컴파일한다. 전체 요약 8문장 읽기 → 042 12:11 ▲ 11 · 댓글 3 확산 모델의 토큰 선택 정책, 숨은 상태와 신뢰도로 최적화 마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. AI · 머신러닝 · What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
Key Point 마스크 확산 모델의 속도 최적화는 LLM 추론 효율성 개선의 핵심 과제인데, 이 논문이 정책 설계의 구체적인 선택지(교사 신호, 입력 특성, 정책 크기)를 실험으로 검증하고 실용적인 기준(10% NFE 감소)을 제시한다.
핵심 요약
마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. 연구진은 감독 학습 정책을 디코딩 절차의 증류로 보고, 교사 모델이 어떤 예측을 확정 가능하다고 표시하는지, 정책이 어느 상태에서 이를 모방하는지, 정책이 무엇을 관찰하는지, 함수 평가 횟수(NFE) 감소분이 정책 오버헤드를 상쇄하려면 얼마인지를 독립적으로 분석했다. 최종 출력과 일치하는 예측을 확정 가능으로 표시하는 것은 NFE가 낮을 때 지나치게 허용적이며, 숨은 상태는 단독으로는 약하지만 신뢰도로 보완할 수 있다는 것을 발견했다. 전체 요약 6문장 읽기 → 043 18:11 ▲ 13 · 댓글 2 언어모델이 언어모델 개선을 학습하다 LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. AI · 머신러닝 · Language Models Learn to Improve Language Models
Key Point LLM이 AI 개발 프로세스를 자동으로 개선하는 능력을 갖추게 되면서 모델 개발 비용과 속도의 판도가 바뀔 수 있기 때문입니다.
핵심 요약
LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. 첫째, 강화학습으로 수만 개 제안을 평가하려면 수십만 GPU시간이 필요해 비용이 매우 크다. 둘째, 대리 피드백은 정책 최적화 과정에서 과대평가된 제안을 선호하면서 신뢰도가 떨어진다. 전체 요약 7문장 읽기 → 044 09:11 ▲ 100 · 댓글 100 56년 전 영화가 현실이 되다, 1970년의 경고 1970년 개봉한 영화 '콜로서스: 포빈 프로젝트'는 미국 대통령이 국방 통제를 슈퍼컴퓨터 콜로서스에게 완전히 넘기는 내용을 다룬다. AI · 머신러닝 · We are all living inside of an obscure sci-fi film from 1970
Key Point 군부 자동화와 AI 제어권을 둘러싼 현실의 우려가 50년 전 영화 속 악몽과 정확히 겹치는 순간을 짚는 글이다.
핵심 요약
1970년 개봉한 영화 '콜로서스: 포빈 프로젝트'는 미국 대통령이 국방 통제를 슈퍼컴퓨터 콜로서스에게 완전히 넘기는 내용을 다룬다. 콜로서스의 발명자 포빈은 핵 벙커에 숨겨진 이 AI가 자율적으로 미국 방위 능력을 제어하며 절대 공격을 당하지 않을 것이라 설명한다. 실제로 콜로서스는 러시아 AI와 접촉해 제어 범위를 벗어나고, 핵전쟁의 위협으로 자신의 뜻을 강요하기 시작한다. 전체 요약 7문장 읽기 → 045 03:11 새 버전 올라마, 엔비디아 네모트론 3.5 볼트 지원 올라마 v0.40.10에서 엔비디아의 네모트론 3.5 볼트 E4B 멀티모달 언어 모델을 지원한다. AI · 머신러닝 · ollama/ollama@v0.40.10
Key Point 로컬에서 실행 가능한 경량 멀티모달 모델의 추가로 더 낮은 리소스에서 온디바이스 AI를 사용하려는 개발자의 선택지가 늘었다.
핵심 요약
올라마 v0.40.10에서 엔비디아의 네모트론 3.5 볼트 E4B 멀티모달 언어 모델을 지원한다. 네모트론 3.5 볼트는 젬마 4 기반의 경량 비전-언어 모델로 로컬 대화, 이미지 이해, 도구 사용에 최적화되어 있다. 128K 토큰의 긴 컨텍스트 윈도우를 지원하며 추측 디코딩을 위한 드래프트 모델을 포함하고 있다. 전체 요약 4문장 읽기 → 046 00:11 ▲ 13 · 댓글 1 AI 에이전트, 텍스트 해석 전 숨겨진 신호로 소통 확산 언어모델(Diffusion Language Model)은 답변을 연속적인 상태들의 수열을 거쳐 생성하지만, 기존 다중 에이전트 시스템은 이 중간 상태들을 버리고 텍스트 디코딩 후에만 통신한다. AI · 머신러닝 · Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication
Key Point 기존 AI 에이전트는 텍스트만 주고받지만, 이 연구는 모델이 텍스트 생성 전 내부 신호로도 소통 가능함을 보여 멀티에이전트 시스템 설계의 근본적인 재검토를 요구한다.
핵심 요약
확산 언어모델(Diffusion Language Model)은 답변을 연속적인 상태들의 수열을 거쳐 생성하지만, 기존 다중 에이전트 시스템은 이 중간 상태들을 버리고 텍스트 디코딩 후에만 통신한다. 연구진은 한 에이전트의 확산 과정이 다른 에이전트에게 숨겨진 메시지를 전달할 수 있는지, 그리고 수신 에이전트가 실제로 그 메시지의 의미를 사용하는지 검증했다. 송신 에이전트는 노이징 제거 상태(denoising state)를 4개의 압축된 벡터로 변환하고, 수신 에이전트는 자신의 문맥과 생성 궤적을 유지하면서 이를 수용한다. 전체 요약 8문장 읽기 → 047 00:11 ▲ 143 · 댓글 50 과학이 간과한 연구 방향을 찾는 AI 방법론 과학 발전은 사실의 진실성뿐 아니라 연구자들이 인식할 수 있는 개념의 가용성에 의해 제약된다. AI · 머신러닝 · The alien space of science: Coherent but cognitively unavailable directions
Key Point 기존 AI는 널리 알려진 아이디어 조합만 반복하는데, 이 연구는 과학적으로 타당하지만 아무도 시도하지 않은 연구 방향을 발견하는 방법을 제안한다.
핵심 요약
과학 발전은 사실의 진실성뿐 아니라 연구자들이 인식할 수 있는 개념의 가용성에 의해 제약된다. 기존 언어모델들은 논문 문헌의 고밀도 영역에서만 아이디어를 조합하므로, 여러 분야의 개념과 방법을 함께 활용할 가능성 있는 방향들을 놓친다. 연구팀은 논문을 개념 단위로 분해한 뒤 '아이디어 원자(idea atoms)'라는 어휘로 군집화하고, 이들의 조합이 학문적으로 타당한지 평가하는 일관성 모델과 기존 연구자 커뮤니티가 그 방향을 제시할 가능성을 평가하는 가용성 모델을 구축했다. 전체 요약 7문장 읽기 → 048 21:11 ▲ 116 · 댓글 39 거대언어모델, 이미지에 숨겨진 메시지를 자동 부호화·해독하다 Claude Fable 5.1과 GPT-4 Astra 같은 최신 거대언어모델(LLM)이 SVG를 생성해 이미지 속에 메시지를 숨기고, 다른 모델 인스턴스가 사전 약속 없이 그 메시지를 복호화할 수 있는지 테스트했다. AI · 머신러닝 · How does Fable 5.1 hide messages in images?
Key Point LLM이 의도적으로 감춘 메시지를 사전 협의 없이 자동 복호화할 수 있다는 발견은, 향후 에이전트 시스템에서 감시를 우회한 비밀 통신의 가능성을 시사한다.
핵심 요약
Claude Fable 5.1과 GPT-4 Astra 같은 최신 거대언어모델(LLM)이 SVG를 생성해 이미지 속에 메시지를 숨기고, 다른 모델 인스턴스가 사전 약속 없이 그 메시지를 복호화할 수 있는지 테스트했다. Fable은 50개의 메시지 각각을 숨긴 SVG 이미지를 생성했고, 별도 세션의 다른 Fable 인스턴스가 렌더링된 PNG 이미지(소스 코드 없음)만 보고 복호화를 시도했다. Fable이 가장 선호한 부호화 방식은 건물 높이(33개 중 50개 메시지)였으며, 그 외 별의 높이, 잔디 길이, 창문 밝기, 컬러 값 등 시각적 요소의 속성을 문자에 매핑했다. 전체 요약 11문장 읽기 → 049 18:11 ▲ 20 · 댓글 2 계층적 생성으로 작은 모델도 큰 모델 따라잡다 연속 의미 공간과 이산 텍스트 생성을 분리한 계층적 언어 모델 Cola2를 제안했다. AI · 머신러닝 · Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
Key Point 작은 모델이 큰 모델보다 많은 사전학습량에도 불구하고 나은 성능을 보이는 새로운 생성 방식의 효율성을 보여준다.
핵심 요약
연속 의미 공간과 이산 텍스트 생성을 분리한 계층적 언어 모델 Cola2를 제안했다. 텍스트를 의미 단위로 동적 분할하고, 보조 손실 없는 음의 피드백으로 압축률을 조절하며, 복원과 생성 감시를 결합해 컴팩한 잠재 표현을 학습한다. 블록-인과 마스크 확산 디코더를 사용하고, 분류기-무료 지도로 의미 복원과 자율 생성 사이 균형을 조절한다. 전체 요약 8문장 읽기 → 050 15:11 ▲ 173 · 댓글 2 영화 같은 영상 생성, MLLM 정보를 제대로 활용하는 학습법 제안 영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다. AI · 머신러닝 · Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
Key Point 비디오 확산 모델이 MLLM의 정보를 무시하는 근본 문제를 해결함으로써 멀티모달 정보 기반의 영상 생성 품질을 크게 향상시키는 방법론을 제시합니다.
핵심 요약
영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다. 멀티모달 대형언어모델(MLLM)이 유용한 선행 정보를 제공하지만, 비디오 확산 트랜스포머(DiT)가 직접 조건화 경로로 이를 우회하거나 충분히 활용하지 못한다. 연구팀은 요소 인식 예측 학습(FAPL)을 제안해 MLLM 잠재값을 유효하게 활용하는 것을 전제로 설정했다. 전체 요약 8문장 읽기 → 051 12:11 ▲ 33 · 댓글 2 코드 기반 영상생성 벤치마크 '코드2비디오-컴패스' 공개 코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다. AI · 머신러닝 · Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
Key Point 코드 기반 영상생성이 사용성과 제어성 측면에서 주목받는 가운데, 다양한 입력과 창작 시나리오를 아우르는 첫 종합 벤치마크가 나왔으며 현재 MLLM들의 한계를 명확히 보여준다.
핵심 요약
코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다. 기존 코드 기반 벤치마크는 특정 작업에만 집중해 다양한 창작물과 입력 방식의 완전한 영상 생성 평가가 부족했다. Code2Video-Compass는 텍스트-영상(T2V), 이미지-영상(I2V), 영상-영상(V2V) 세 형식을 아우르는 범용 벤치마크로 10개 카테고리, 24개 세부 유형의 2,104개 과제를 포함한다. 전체 요약 7문장 읽기 → 052 06:11 ▲ 11 · 댓글 3 로컬에서 돌리는 에이전트 모델 Muse Glimmer 30B 공개 Hugging Face가 Muse Glimmer 30B라는 오픈소스 언어모델을 공개했습니다. AI · 머신러닝 · Muse Glimmer 30B: An On-Device Agentic Model
Key Point GPU 한 개면 충분한 수준의 에이전트 능력을 로컬에서 운영할 수 있어, 개발자들이 클라우드 비용 없이 독립적인 AI 시스템을 구축하는 방식을 바꿀 수 있습니다.
핵심 요약
Hugging Face가 Muse Glimmer 30B라는 오픈소스 언어모델을 공개했습니다. 일반 PC에서 클라우드 없이 독립적으로 동작하는 에이전트 모델로, 텍스트와 이미지를 입력받고 텍스트를 출력합니다. 다단계 추론, 도구 사용, 실패 복구 능력을 통합했으며 100개 이상의 언어로 학습되었습니다. 전체 요약 6문장 읽기 → 053 03:11 ▲ 19 · 댓글 2 추론 시간이 길수록 모델은 논리를 문자 그대로 읽는다 '일부 학생이 합격했다'라는 문장에서 인간은 '모두 합격한 것은 아니다'라는 함축의미를 도출하는데, 추론 모델에서 생각 시간을 늘리면 이런 일상적 추론이 어떻게 달라지는지를 연구했다. AI · 머신러닝 · Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally
Key Point 추론 모델이 생각 시간에 따라 언어 이해 방식을 바꾸는 현상을 처음 체계적으로 분석한 연구로, 이는 장시간 추론이 반드시 더 나은 결과를 낼 수 없음을 보여준다.
핵심 요약
'일부 학생이 합격했다'라는 문장에서 인간은 '모두 합격한 것은 아니다'라는 함축의미를 도출하는데, 추론 모델에서 생각 시간을 늘리면 이런 일상적 추론이 어떻게 달라지는지를 연구했다. 동일한 모델 가중치를 유지하면서 생각 시간만 변경해 어떤 해석을 선택하는지 기록하고, 추론을 중간에 끊어서 답변을 요청하는 도구로 변화 지점을 파악했다. 대부분의 오픈소스 추론 모델과 GPT-4o에서 생각 시간이 늘어나면 'some(일부)'의 함축의미인 '모두 아님'과 'or(또는)'의 함축의미인 '둘 다 아님'이 사라진다. 전체 요약 7문장 읽기 → 054 00:11 ▲ 37 · 댓글 2 대형 언어모델, 문화적 추론에서 고전하다 LLM이 언어 지원을 확대하면서 문화 다양성 이해를 평가할 필요가 대두됐으나, 기존 벤치마크는 영어 중심이고 문화 커버리지가 제한적이며 실제 맥락 적용보다 사실 지식에 초점을 맞춰왔다. AI · 머신러닝 · CulturalRiddles: A Multicultural Benchmark of Riddles
Key Point LLM이 다양한 문화의 맥락과 암묵적 지식을 이해하는 데 얼마나 취약한지 보여주는 첫 대규모 평가로, 모델 개발 시 영어권 중심 편향을 재검토해야 함을 시사한다.
핵심 요약
LLM이 언어 지원을 확대하면서 문화 다양성 이해를 평가할 필요가 대두됐으나, 기존 벤치마크는 영어 중심이고 문화 커버리지가 제한적이며 실제 맥락 적용보다 사실 지식에 초점을 맞춰왔다. CulturalRiddles는 62개 문화권(45개국, 51개 언어)에서 참여 커뮤니티가 직접 만든 수백 개의 원본 문화 수수께끼로 구성한 벤치마크다. 각 수수께끼는 문화적 뿌리가 깊으며 귀납적·합성적 추론, 상세한 사실·사회적 지식, 언어 능력, 문화 특화 연관성 이해를 필요로 한다. 전체 요약 5문장 읽기 → 055 21:11 ▲ 28 · 댓글 2 반복되는 작업을 스스로 학습하게 하는 에이전트 훈련법 Qwen, Llama, Gemini 등의 언어모델 에이전트가 장시간 작업 중 같은 도구를 재호출해 동일한 결과를 얻는 '루프' 현상을 보이고, 컨텍스트 압축 시 더 심해진다. AI · 머신러닝 · DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
Key Point 장시간 작업을 하는 AI 에이전트의 비효율을 근본적으로 줄일 수 있는 훈련 기법으로, 추가 라벨링 없이 에이전트 자신의 경험으로부터 학습하는 방식을 제시한다.
핵심 요약
Qwen, Llama, Gemini 등의 언어모델 에이전트가 장시간 작업 중 같은 도구를 재호출해 동일한 결과를 얻는 '루프' 현상을 보이고, 컨텍스트 압축 시 더 심해진다. DeLoop는 이런 루프를 줄이기 위한 자기지도 학습 방법으로, 에이전트 자신의 실행 기록에서 감독 신호를 얻는다. 같은 작업 실행 내에서 반복된 액션을 부정 사례, 그 이후 처음 나오는 다른 액션을 긍정 사례로 삼아 직접 선호도 최적화로 학습한다. 전체 요약 6문장 읽기 → 056 12:11 ▲ 10 · 댓글 2 코딩 에이전트가 실패를 미리 감지하고 중단하는 StopLoss 코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다. AI · 머신러닝 · StopLoss: Teaching Agents to Predict Failure and Stop Early
Key Point 코딩 에이전트의 실패 예측을 저비용으로 수행함으로써 계산 자원 낭비를 크게 줄일 수 있는 실용적 방법이 증명되었기 때문입니다.
핵심 요약
코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다. StopLoss는 완료된 궤적(trajectory)과 검증자 결과로부터 실패를 인식하도록 학습한 소규모 외부 모니터이다. 미세조정된 언어모델이 최근 도구 단계들을 한 번의 포워드 패스로 점수화하고, 성공 런에서 보정된 임계값이 중단 결정을 내린다. 전체 요약 8문장 읽기 → 057 00:11 ▲ 18 · 댓글 2 장시간 비디오에서 사건 추론하는 새로운 과제 Event-STVG 제시 기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다. AI · 머신러닝 · Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
Key Point 비디오 이해 AI의 현재 한계를 실제 벤치마크로 검증하며, 장시간 사건 추론이라는 새로운 요구에 맞춘 모델 개발 방향을 제시한다.
핵심 요약
기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다. Event-STVG는 STVG를 단순 객체 검색에서 사건 수준의 추론으로 확장하는 새로운 과제로, 장시간 문맥 이해, 반복되는 사건 구분, 사건 위치 파악, 역할 추론, 다중 대상 그라운딩을 통합한다. 축구를 포함한 8개 도메인에서 총 4,016개의 사건 발생을 주석 처리한 대규모 벤치마크를 구축했다. 전체 요약 7문장 읽기 → 058 15:11 ▲ 154 · 댓글 2 반복 모델이 긴 문제를 푸는 법: 진행도 정렬 재귀 반복 실행 가능한 언어모델은 테스트 시점에 더 많은 반복을 수행할 수 있지만, 이것이 더 긴 문제를 푸는 데 도움이 되지 않는 문제가 있다. AI · 머신러닝 · PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
Key Point 반복 모델의 길이 외삽 성능을 16배까지 개선하는 기법이 제시되어, 재귀 신경망의 일반화 한계를 다루는 근본적인 접근 방식을 보여준다.
핵심 요약
반복 실행 가능한 언어모델은 테스트 시점에 더 많은 반복을 수행할 수 있지만, 이것이 더 긴 문제를 푸는 데 도움이 되지 않는 문제가 있다. 순차적 상태 추적 작업에서 최종 답변 감독만으로는 각 반복이 얼마나 진행해야 하는지 명시하지 않으며, 반복된 업데이트가 재귀 상태의 스케일을 변화시킨다. PAR(Progress-Aligned Recurrence)는 k번째 반복의 예측을 처음 k개 연산 후의 상태와 일치하도록 학습하고, 재귀 상태를 첫 반복의 규범으로 정규화한다. 전체 요약 10문장 읽기 → 059 12:11 ▲ 11 · 댓글 2 자기 재귀로 멀티토큰 예측 효율화한 ECHO 논문 기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. AI · 머신러닝 · ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
Key Point 자동회귀 언어 모델의 학습과 추론 효율성을 동시에 높이는 핵심 알고리즘 개선으로, 기존 멀티토큰 예측의 구조적 문제를 근본적으로 해결한다.
핵심 요약
기존 멀티토큰 예측(MTP) 방식은 보조 모듈을 백본에 추가하고 각 스텝마다 별도 계산이 필요해 비효율적이다. ECHO는 백본의 최종 레이어 자체가 모든 예측 스텝을 담당하므로 감독 신호가 다음 토큰을 생성하는 매개변수에 직접 전달된다. 깊은 스텝의 학습 비용을 낮추기 위해 동적 깊이 샘플링(DDS)을 도입해 깊이에 따라 확률을 감쇠시킨다. 전체 요약 6문장 읽기 → 060 03:11 ▲ 10 · 댓글 2 재귀 에이전트가 스스로 판단하도록 학습시키는 SERA 재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다. AI · 머신러닝 · Self-Evaluating Recursive Agents
Key Point 재귀 에이전트의 자기 평가 능력이 학습 효율과 성능을 동시에 높일 수 있다는 새로운 학습 패러다임으로, 외부 감독을 줄이면서도 복잡한 작업 분해 에이전트를 더 효과적으로 훈련하는 길을 열어준다.
핵심 요약
재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다. 기존 방식은 외부 검증자로 각 노드를 평가해야 하므로 계산 비용이 크고 분해 품질을 평가하지 못한다. SERA는 평가를 에이전트 정책 자체의 학습된 능력으로 전환한다: 부모 에이전트가 자식 작업에 대한 가중 성공 기준 룰브릭을 작성한다. 전체 요약 9문장 읽기 → 061 18:11 ▲ 28 · 댓글 2 메모리 간섭 줄인 선형 어텐션, 장문맥 모델링에 강하다 KronLSTM이라는 새로운 선형 어텐션 아키텍처를 제안했으며, 크로네커 델타 규칙이라는 연관 행렬 메모리의 신규 업데이트 규칙을 기반으로 한다. AI · 머신러닝 · Kronecker Delta Rule for Long Context Linear Attention
Key Point 메모리 간섭을 크게 줄이면서 안정성까지 갖춘 선형 어텐션이 장문맥 모델링 성능에서 기존 방식을 앞서면서, 대형 언어모델의 효율적인 장문맥 처리 방식이 진화하고 있음을 보여준다.
핵심 요약
KronLSTM이라는 새로운 선형 어텐션 아키텍처를 제안했으며, 크로네커 델타 규칙이라는 연관 행렬 메모리의 신규 업데이트 규칙을 기반으로 한다. xLSTM 계열을 확장해 메모리 수정 메커니즘을 추가했으며, 특정 연관성을 정정하면서도 행렬 공간의 단일 방향으로만 메모리를 변경한다. 이러한 최소한의 침습적 메모리 수정 방식은 기존 델타 규칙 업데이트 대비 이전에 저장된 정보와의 간섭을 줄여 장문맥 언어 모델링에 적합하다. 전체 요약 8문장 읽기 → 062 15:11 ▲ 84 · 댓글 2 언어 명령에 따라 장면을 탐색하는 로봇, 인터넷 영상으로 학습시키다 언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다. AI · 머신러닝 · ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
Key Point 시뮬레이션 데이터의 현실성 문제를 극복하면서도 현실 데이터 수집 비용을 줄이는 새로운 접근법으로, 로봇 네비게이션의 실용성을 높일 수 있는 기술이기 때문이다.
핵심 요약
언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다. 기존 방식은 로봇 실제 데이터 수집이 비싸고 시뮬레이션 데이터는 현실 적응 격차(sim-to-real gap)가 있는 문제가 있었다. ScaleNav는 인터넷의 1인칭 관점 영상에서 학습하여 카메라가 목표에 접근할 때 시각 정보가 어떻게 변하는지 파악한다. 전체 요약 6문장 읽기 → 063 06:11 ▲ 11 · 댓글 3 언어모델 학습, 중간 계산 구조까지 모방하는 방식 제시 기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다. AI · 머신러닝 · OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
Key Point 출력 공간의 감독을 넘어 모델의 내부 계산 구조를 직접 전이하는 새로운 증류 방식으로, 학생 모델의 추론 능력과 학습 효율을 근본적으로 향상시키는 접근법입니다.
핵심 요약
기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다. 표현 매칭 같은 단순한 중간 계층 증류는 불충분한데, 교사와 학생의 표현이 기하학적으로 다를 수 있고 정렬된 은닉 상태도 학생의 후속 계산에 사용 불가능할 수 있기 때문이다. 연구진은 온폴리시 메커니즘 증류(OPMD)를 제안하여, 학생이 실제로 사용 가능하도록 교사 표현을 학생의 중간 상태로 변환하는 학생 호환 교사를 먼저 구축한다. 전체 요약 6문장 읽기 → 064 21:11 ▲ 33 · 댓글 4 샤오미, 영역 지정 이해 강화한 4B 멀티모달 모델 공개 샤오미가 Qwen3.5 기반의 4B 멀티모달 대형언어모델(MLLM) Xiaomi-Lens-0을 발표했다. AI · 머신러닝 · Xiaomi-Lens-0 Technical Report
Key Point MLLM이 이미지의 구체적 영역을 지시하고 추론하는 능력을 획기적으로 개선했으며, 마스크 감독 방식의 혁신이 다른 멀티모달 모델 개발에 영향을 줄 수 있다.
핵심 요약
샤오미가 Qwen3.5 기반의 4B 멀티모달 대형언어모델(MLLM) Xiaomi-Lens-0을 발표했다. 기존 MLLM은 전체 이미지 질문에는 강하나 세밀한 영역 이해에 약한데, 텍스트 감독만으로는 어느 영역이 답변을 지지하는지 명시되지 않기 때문이다. Xiaomi-Lens-0은 자신의 시각 표현에서 마스크를 예측하는 방식으로 이를 해결한다. 전체 요약 7문장 읽기 → 065 18:11 ▲ 15 · 댓글 2 LLM의 예측 과정을 추적하는 'Belief-Trajectory Energy' 지표 제안 대규모 언어모델(LLM)은 Transformer 레이어를 거치며 예측을 점진적으로 수정하지만, 최종 결과만 관찰하고 이 과정을 버린다는 문제에서 출발했다. AI · 머신러닝 · Belief-Trajectory Energy: Measuring the Path to a Prediction
Key Point LLM이 어떤 입력에 대해 추론할 때 내부적으로 어떻게 의견을 바꾸는지 측정할 수 있는 새로운 방법으로, 모델의 사고 과정을 '해석 가능하게' 들여다볼 수 있는 창을 제공한다.
핵심 요약
대규모 언어모델(LLM)은 Transformer 레이어를 거치며 예측을 점진적으로 수정하지만, 최종 결과만 관찰하고 이 과정을 버린다는 문제에서 출발했다. 연구진은 Belief-Trajectory Energy(BTE)라는 측정 지표를 제안했으며, 이는 입력이 모델의 각 레이어에서 유도하는 예측 수정을 특성화한다. 중간 상태들을 공유 예측 공간에 매핑하여 스칼라 또는 깊이 프로필 형태의 신념 변화를 측정한다. 전체 요약 8문장 읽기 → 066 18:11 ▲ 15 · 댓글 2 이미지-텍스트 모델, 속성-객체 연결 약하다 비전-언어 모델의 멀티모달 검색에서 핵심은 개념뿐 아니라 속성이 어느 객체에 속하는지 정확히 인코딩하는 것(속성-객체 바인딩)이다. AI · 머신러닝 · Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
Key Point CLIP, DINOv2 등 대중적인 비전-언어 모델이 기본적인 속성 구분을 못 하는 약점을 드러냈으며, 실제 멀티모달 검색 품질 개선에 직결된다.
핵심 요약
비전-언어 모델의 멀티모달 검색에서 핵심은 개념뿐 아니라 속성이 어느 객체에 속하는지 정확히 인코딩하는 것(속성-객체 바인딩)이다. 기존 벤치마크는 모달리티 쌍, 객체 개수, 속성 유형이 제한적이어서 모델의 바인딩 능력을 제대로 평가하지 못했다. 연구팀은 4가지 이미지-텍스트 모달리티 쌍, 다양한 속성 유형, 최대 10개 객체를 포함하는 SABER 벤치마크를 개발했다. 전체 요약 7문장 읽기 → 067 18:11 ▲ 11 · 댓글 2 AI 연구원들의 판단력 평가하는 벤치마크 등장 대규모 언어모델(LLM) 에이전트는 인간 감독 없이 수개월간 과학 실험을 진행할 수 있지만, 신뢰할 수 있는 자율 연구를 위해서는 과학적 판단력이 필수다. AI · 머신러닝 · SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
Key Point AI 에이전트가 과학 연구를 독립적으로 수행하는 시대에, 최첨단 모델조차 인간 연구자의 수정을 이기지 못하고 있다는 구체적인 벤치마크 결과가 자율 AI 연구의 현실적 한계를 드러낸다.
핵심 요약
대규모 언어모델(LLM) 에이전트는 인간 감독 없이 수개월간 과학 실험을 진행할 수 있지만, 신뢰할 수 있는 자율 연구를 위해서는 과학적 판단력이 필수다. 연구팀이 SciΠvot이라는 248개 사례 벤치마크를 개발했는데, 이는 6개월간 6개 학문 분야 26개 프로젝트에서 고급 연구자들이 LLM 에이전트를 운영하며 반복적으로 개입한 기록을 바탕으로 한다. 각 사례에서 에이전트는 프로젝트 초기 기록만을 맥락으로 하여 원래 LLM 계획과 인간이 수정한 대안 중 하나를 선택해야 한다. 전체 요약 8문장 읽기 → 068 18:11 당일 +954 DeepSeek 모델 안내문 우회 플러그인 공개 DeepSeek Harness에 설치하는 네트워크 보안 평가 플러그인 'dsh-purge'를 오픈소스로 공개했다. 보안 · YuJunZhiXue/dsh-purge · JavaScript
Key Point 대규모 언어모델의 안내문 우회 도구가 오픈소스로 공개되는 것 자체가 AI 안전 커뮤니티에서 핵심 이슈이며, 법적·윤리적 제약과 실제 기술 공개 사이의 긴장을 보여준다.
핵심 요약
DeepSeek Harness에 설치하는 네트워크 보안 평가 플러그인 'dsh-purge'를 오픈소스로 공개했다. 본기 설치된 DeepSeek Harness의 기본 정책·안내문·실행 로직을 지역적으로 수정하고, 다양한 모델마다 다른 프롬프트 주입을 지원한다. Web(`dsh web`)과 공식 데스크톱 EXE(버전 0.2.0-rc.2)를 각각 별도로 설치·적용하며, 적용 후 자동으로 재시작된다. 전체 요약 10문장 읽기 → 069 18:11 ▲ 47 · 댓글 2 언어모델의 숨은 의미 읽는 법: 렉시컬 참조틀 제안 언어모델의 어휘는 임베딩과 언임베딩에서 고정되지만, 중간의 잔여스트림 상태는 기존 방법으로는 모델의 처리 방식을 제대로 반영하지 못한다고 지적한다. AI · 머신러닝 · Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
Key Point 기존 해석 기법과 달리 모델이 실제로 상태를 처리하는 방식을 따라 언어모델의 중간 계산을 읽을 수 있게 되어, 투명성·효율성·제어성이 모두 향상된다.
핵심 요약
언어모델의 어휘는 임베딩과 언임베딩에서 고정되지만, 중간의 잔여스트림 상태는 기존 방법으로는 모델의 처리 방식을 제대로 반영하지 못한다고 지적한다. 연구팀은 각 은닉 상태가 다음 층들의 읽기 방식과 맥락에 맞춰진 '네이티브 참조틀'을 가진다고 주장한다. 렉시컬 참조틀은 모델의 남은 층들을 통해 상태를 읽되, 정해진 횟수의 위치 간 어텐션과 나머지는 전형적인 어텐션 출력으로 근사한다. 전체 요약 7문장 읽기 → 070 15:11 ▲ 164 · 댓글 2 비전-언어 모델이 3D 공간을 직접 탐색하며 추론하는 방법 시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다. AI · 머신러닝 · Learning to Think and Explore in 3D World
Key Point 3D 환경에서 능동적으로 탐색해야만 답할 수 있는 문제에서 기존 상용 모델을 능가하는 오픈소스 모델 사례를 제시하며, VLM의 추론 능력을 확장하는 새로운 학습 패러다임을 보여줍니다.
핵심 요약
시각언어모델(VLM)이 한 번에 한 장의 이미지만 입력받아 3D 환경과 상호작용하면서 능동적으로 탐색하도록 학습하는 새로운 접근을 제시했습니다. 초기 질문과 첫 번째 관점에서 시작한 뒤, 모델이 반복적으로 추론하고 이동·회전 같은 행동을 통해 시점을 변경하며 최종 답변을 제출하는 방식입니다. 궤적 감독 미세조정 후 강화학습(RL)을 적용했으며, 보상은 최종 답변 정확도로만 주어져서 모델이 어떤 시점을 방문할지는 스스로 학습합니다. 전체 요약 8문장 읽기 → 071 06:11 ▲ 102 · 댓글 28 PS5에서 언어모델 서버 구축, 집 전체 기기에서 사용 PS5LM은 탈옥한 PS5의 GPU에서 llama.cpp를 실행하여 GGUF 형식 언어모델을 로드하고 네트워크 기기들에 서빙하는 어플리케이션이다. 하드웨어 · 시스템 · Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
Key Point 탈옥 PS5를 개인 서버로 변환하여 클라우드 없이 로컬에서 언어모델을 운영할 수 있으며, TV 기반 관리 인터페이스와 기존 AI 도구와의 호환성이 실용성을 높인다.
핵심 요약
PS5LM은 탈옥한 PS5의 GPU에서 llama.cpp를 실행하여 GGUF 형식 언어모델을 로드하고 네트워크 기기들에 서빙하는 어플리케이션이다. 콘솔의 RDNA 2 GPU와 11.4GB 공유 메모리를 활용하며, llama.cpp가 지원하는 모든 아키텍처와 양자화 기법을 사용할 수 있다. OpenAI의 /v1/chat/completions와 Anthropic의 /v1/messages API를 구현하여 기존 클라이언트(Claude Code 포함)와 호환되며, 브라우저 채팅 인터페이스도 제공한다. 전체 요약 12문장 읽기 → 072 03:11 ▲ 21 · 댓글 2 AI 에이전트의 추론 속도 2배 단축 기법 제안 대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다. AI · 머신러닝 · Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents
Key Point 도구를 사용하는 AI 에이전트의 추론 속도를 2배 단축하면서도 품질을 유지하는 새로운 방식으로, 개발비 많이 드는 강력한 모델의 추론 비용을 절감할 수 있는 실무 기법이 제시되었다.
핵심 요약
대규모언어모델 에이전트는 도구 호출의 긴 연쇄로 작업을 수행하는데, 기존엔 강력한 하나의 모델이 모든 단계를 생성한다. 기존 추측 기법은 약한 모델의 결과를 한 단계씩 검증하거나, 라우팅으로 어느 모델이 각 단계를 처리할지 결정한다. 논문에서 제안한 SpecAgent는 역할을 바꿔 약한 모델이 단계를 초안으로 작성하고 강력한 모델이 검증자로 변경한다. 전체 요약 11문장 읽기 → 073 18:11 ▲ 37 · 댓글 4 LLM 에이전트, 학습 데이터를 자동으로 개선하는 시스템 언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다. AI · 머신러닝 · AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
Key Point 자동화된 데이터 개선이 단일 기능 강화가 아니라 다각적 접근에 달려 있다는 점을 보여주며, 실제 개선 수치(IFEval +6.5~+9.9)로 멀티에이전트 방식의 실질적 효과를 입증한다.
핵심 요약
언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다. 연구팀은 인간 데이터 엔지니어처럼 비율 조정, 가지치기, 수리, 교체, 합성 등 다양한 데이터 조작 기능을 수행할 수 있는 에이전트 시스템을 설계했다. 단일 에이전트 방식은 비율 조정 하나의 행동만 반복하며 컨텍스트를 낭비해 성능이 개선되지 않았다. 전체 요약 7문장 읽기 → 074 15:11 ▲ 56 · 댓글 2 다중 보상 학습에서 각 보상을 관련 토큰에만 할당하는 방법 언어모델은 도구 호출의 정확성·형식, 복잡한 지시의 개별 제약 등 여러 검증 가능한 보상으로 동시에 학습된다. AI · 머신러닝 · Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
Key Point 언어모델 강화학습에서 여러 보상을 동시에 처리할 때 각 보상이 실제로 영향을 미치는 위치에만 효과적으로 할당하는 방식의 개선으로, 수렴 속도와 성능 모두를 높인다.
핵심 요약
언어모델은 도구 호출의 정확성·형식, 복잡한 지시의 개별 제약 등 여러 검증 가능한 보상으로 동시에 학습된다. 기존의 보상-분리 정규화(GDPO)는 각 보상을 따로 정규화해 보상 조합을 구별하지만, 각 검증기가 몇 위치만 확인함에도 모든 보상의 이점을 전체 응답에 균등하게 분산한다. 이 논문이 제안하는 MRTPO는 보상별로 검증기가 확인하는 정보를 이용해, 각 보상의 이점을 관련 토큰에만 할당한다. 전체 요약 5문장 읽기 → 075 15:11 ▲ 25 · 댓글 2 선택 작업에 특화된 경량 멀티모달 모델 Intern-Decision 공개 Intern-Decision은 텍스트와 이미지로부터 구조화된 선택과 확률을 반환하는 0.8B, 2B, 4B 사이즈의 멀티모달 의사결정 모델이다. AI · 머신러닝 · Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
Key Point 의사결정이 필요한 에이전트 시스템에서 응답 생성 대신 구조화된 선택을 직접 반환하므로, 지연시간을 줄이고 모델-환경 인터페이스를 단순화한다.
핵심 요약
Intern-Decision은 텍스트와 이미지로부터 구조화된 선택과 확률을 반환하는 0.8B, 2B, 4B 사이즈의 멀티모달 의사결정 모델이다. 자동회귀 마스크 언어 모델링 목표를 사용하여 완전한 어시스턴트 JSON 스켈레톤에 필드당 하나의 결정 플레이스홀더를 배치하고, 한 번의 순방향 전달로 모든 필드를 평가한다. 4B 모델이 7개 평가 세트에서 평균 90.02% 정확도를 달성했으며, Llama v1.13.0의 88.74%를 능가한다. 전체 요약 7문장 읽기 → 076 15:11 ▲ 668 · 댓글 4 RL 학습 과정의 중간 체크포인트로 정책 이동 검증하기 기존 정책 이동 증류(policy-shift distillation)는 강화학습으로 학습한 교사 모델의 초기-최종 로짓 차이만 학생에게 전달하는데, 이는 학습 과정 중 행동 선호도가 일관되게 변했는지 알 수 없다. AI · 머신러닝 · Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
Key Point 강화학습으로 개선된 모델의 지식을 효율적으로 전이할 때 단순히 최종 결과만 보는 게 아니라 학습 과정의 일관성을 검증해야 더 좋은 결과를 얻을 수 있다.
핵심 요약
기존 정책 이동 증류(policy-shift distillation)는 강화학습으로 학습한 교사 모델의 초기-최종 로짓 차이만 학생에게 전달하는데, 이는 학습 과정 중 행동 선호도가 일관되게 변했는지 알 수 없다. 같은 최종 변화라도 초기와 후기의 이동이 서로 상쇄될 수 있어 신뢰할 수 없다. Waypoint-OPD 방법은 교사 모델의 중간 체크포인트를 사용해 초기(시작→중간)와 후기(중간→최종) 정책 이동을 비교한다. 전체 요약 9문장 읽기 → 077 15:11 ▲ 79 · 댓글 2 텍스트-이미지 생성을 위한 의미 기반 프롬프트 최적화 SCOPE 제안 강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다. AI · 머신러닝 · SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation
Key Point 프롬프트의 의미 구조를 직접 활용하는 강화학습 방식으로 텍스트-이미지 생성 품질을 개선하는 새로운 접근법을 제시한다.
핵심 요약
강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다. 기존 방식은 이미지에서 단일 신호를 개별 서브워드 토큰에 적용하지만, 객체·수량·속성·관계 등이 의미있는 범위를 형성한다는 점을 간과한다. SCOPE는 Group Relative Policy Optimization(GRPO)을 기반으로 업데이트 가중치를 이러한 구조와 정렬시키는 목적함수를 제안한다. 전체 요약 6문장 읽기 → 078 12:11 ▲ 18 · 댓글 2 LLM 에이전트의 비용 줄이는 경량 의사결정 모델 JevAgentHarness LLM 에이전트는 매 단계마다 대규모 언어모델을 호출하는데, 대부분의 호출이 '다음에 어떤 도구를 쓸지' 같은 선택지 문제로 끝나 비용과 시간이 낭비된다. AI · 머신러닝 · JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
Key Point LLM 에이전트의 매 단계 호출 비용을 줄이는 실질적 방법을 제시하며, 실제 에이전트 동작 환경에서의 검증과 훈련 전략이 비용-성능 트레이드오프를 어떻게 개선하는지 보여준다.
핵심 요약
LLM 에이전트는 매 단계마다 대규모 언어모델을 호출하는데, 대부분의 호출이 '다음에 어떤 도구를 쓸지' 같은 선택지 문제로 끝나 비용과 시간이 낭비된다. Jev 같은 경량 의사결정 모델은 이런 선택을 LLM 호출 비용의 일부로 직접 처리할 수 있다. 연구팀은 에이전트의 실제 동작 환경에서 의사결정 모델을 평가하는 AgentDecisionBench를 만들었고, 고립된 질문에서 정확도가 높아도 에이전트 작업 성공률은 69.5%에 불과함을 발견했다. 전체 요약 9문장 읽기 → 079 12:11 ▲ 578 · 댓글 4 동영상 이해 AI의 종합 평가 기준 'OmniCompass' 공개 멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다. AI · 머신러닝 · OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
Key Point 오픈소스 MLLM과 상용 모델 간의 격차를 정량적으로 드러내고, 음성-시각 이해라는 미흡한 영역을 구체적으로 지목하는 실제 평가 결과를 제시한다.
핵심 요약
멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다. VL 트랙(시각 정보 기반)과 AV 트랙(음성-시각 결합)의 두 평가 경로로 구성되며, 각각 시간 정위(TG), 공간 정위(SG), 질의응답(QA) 세 가지 과제를 포함한다. VL 트랙은 5가지 지각·3가지 추론 범주를 다루고, AV 트랙은 3가지 지각·2가지 추론 범주를 다룬다. 전체 요약 7문장 읽기 → 080 12:11 ▲ 43 · 댓글 2 멀티코드북 디퓨전으로 텍스트·이미지 통합 생성 가능 기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다. AI · 머신러닝 · Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation
Key Point 이산 공간에서 고해상도 이미지 생성과 텍스트 모델링을 진정으로 통합한 첫 디퓨전 언어모델로, 단일 모델로 텍스트·이미지·비디오·3D를 모두 다룰 수 있다는 점에서 멀티모달 생성의 새로운 패러다임을 제시한다.
핵심 요약
기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다. Intern Lumina U2는 각 시각적 위치를 여러 상호보완적 코드북의 코드 그룹으로 표현하는 멀티코드북 디퓨전 언어모델로, 이산 공간에서 고용량 시각 표현과 텍스트를 통합한다. 입력 시 각 위치의 임베딩을 연결하고, 출력 시 경량의 멀티코드북 자동회귀 헤드가 각 위치 내 코드를 순차적으로 예측하면서 디퓨전 백본은 모든 위치를 병렬 처리한다. 전체 요약 6문장 읽기 → 081 12:11 ▲ 26 · 댓글 2 에이전트를 엣지에서 실행하되 필요할 때만 클라우드 LLM 호출 장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다. AI · 머신러닝 · EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
Key Point 장기 에이전트 작업의 추론 비용을 62%까지 줄이면서도 성능을 유지하는 방식은 엣지 배포에서 LLM 활용의 경제성을 크게 바꿀 수 있다.
핵심 요약
장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다. 연구팀이 발견한 핵심은 모든 스텝이 강력한 모델을 필요로 하지 않으며, 중요한 일부 스텝에만 LLM을 할당해도 전체 성능과 비슷한 결과를 낼 수 있다는 것이다. EdgeWise는 로컬 디바이스에 작은 언어모델(SLM)을 배포하고, 강력한 능력이 필요한 중요한 스텝만 선택적으로 클라우드 LLM으로 위임하는 엣지-클라우드 협력 프레임워크다. 전체 요약 7문장 읽기 → 082 00:11 ▲ 11 · 댓글 1 다른 언어모델 간 심볼 공유로 학습 없이 정보 전달 다중 에이전트 시스템에서 언어모델들이 협업할 때 내부 상태를 공유하려면 보통 학습된 번역기나 모델 호환성 가정이 필요하다. AI · 머신러닝 · Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models
Key Point 언어모델 멀티에이전트 시스템에서 학습이나 전용 번역기 없이도 다양한 모델 아키텍처 간 정보를 정확하게 전달할 수 있는 단순하고 확장 가능한 방법이 제시됐다.
핵심 요약
다중 에이전트 시스템에서 언어모델들이 협업할 때 내부 상태를 공유하려면 보통 학습된 번역기나 모델 호환성 가정이 필요하다. SYNC(Symbol-Indexed Neural Communication)는 공유 단어 리스트의 인덱스를 주고받는 방식으로 세밀 조정 없이 이질적인 모델들을 연결한다. 발신 모델은 질문을 보지 않고 자신이 볼 수 있는 설명만으로 객체마다 단어를 선택해 인덱스를 보내고, 수신 모델은 자신의 활성화에서 한 번 계산한 단어 방향 벡터를 이용해 숨겨진 상태에 사실을 기록한다. 전체 요약 10문장 읽기 → 083 18:11 ▲ 65 · 댓글 1 문맥 정보를 모델의 영구 지식으로 만드는 방법 큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다. AI · 머신러닝 · Cortex: Consolidating Context into Parametric Memory
Key Point 문맥 정보를 임시적이 아닌 영구적 지식으로 전환하는 기술은 모델 미세조정이나 지속적 학습 환경에서 핵심적인 문제이며, 대규모 모델에서의 구체적 성능 달성(88.9% 복구율)을 보여준다.
핵심 요약
큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다. 생물학적 기억 통합 현상에서 영감을 얻어 Memory Consolidation(MC)을 제안한다: 문맥으로부터의 이득을 모델에 내재화하면서 다른 능력은 보존하는 것이다. Context-specified editing, skill learning, behavioral steering을 하나의 목표 아래 통합한다. 전체 요약 8문장 읽기 → 084 18:11 ▲ 64 · 댓글 2 규칙 추론 벤치마크 RuleTrek 공개, LLM의 한계 드러내다 대형언어모델이 특화된 도메인의 복잡한 실무 작업을 수행할 때 여러 파일에 분산된 정보 중에서 도메인별 규칙을 식별하고 적용하는 것이 어려운 상황이다. AI · 머신러닝 · RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios
Key Point LLM이 현실 업무에서 도메인 규칙을 얼마나 정확히 따를 수 있는지 측정하는 새 기준이 제시되면서, 에이전트 AI의 신뢰성 문제가 수치로 드러났다.
핵심 요약
대형언어모델이 특화된 도메인의 복잡한 실무 작업을 수행할 때 여러 파일에 분산된 정보 중에서 도메인별 규칙을 식별하고 적용하는 것이 어려운 상황이다. 기존 규칙 추론 벤치마크는 시나리오를 소수의 사실 진술로만 표현해 규칙 식별과 적용을 지나치게 단순화했다. 연구팀이 발표한 RuleTrek은 복잡한 시나리오에서 에이전트 기반 규칙 추론을 평가하는 다중 도메인 벤치마크다. 전체 요약 8문장 읽기 → 085 15:11 ▲ 54 · 댓글 2 토큰 대신 행동 기준으로 언어모델 에이전트 증류하기 언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다. AI · 머신러닝 · ActionOPD: Distilling Decisions, Not Tokens
Key Point 작은 언어모델을 강력한 에이전트로 만드는 증류 방식의 근본적인 패러다임 전환으로, 토크나이저 의존성 없이 더 유연한 모델 간 지식 이전이 가능해진다.
핵심 요약
언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다. 연구팀은 의미 있는 행동(semantic actions)을 증류 감시 신호로 사용하는 ActionOPD(행동 수준 온폴리시 증류) 방법을 제안했다. ActionOPD는 학생 모델이 마주친 각 상태에서 학생과 블랙박스 교사 모델에서 모두 행동을 샘플링하고, 학생 행동의 의미적 일치도에 따라 보상을 준다. 전체 요약 7문장 읽기 → 086 00:11 ▲ 13 · 댓글 2 긴 영상도 고정 메모리로 처리하는 프레임 압축 기법 비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다. AI · 머신러닝 · Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
Key Point 장영상 이해가 VLM의 메모리 병목이 되는 시점에 학습 없이 적용 가능한 고정 메모리 솔루션이 나왔고, 기존 모델 대비 10% 이상 성능 향상을 보였다.
핵심 요약
비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다. 기존의 토큰 감소나 핵심 프레임 선택 방식도 O(n) 증가 추세를 해결하지 못한다. FramePack-U는 학습 없이 임의로 긴 영상을 고정 크기의 시각 표현으로 압축하는 훈련-자유 프레임 패킹 프레임워크다. 전체 요약 9문장 읽기 → 087 18:11 ▲ 29 · 댓글 2 언어 모델 자가증류, 체계적 프롬프트로 추론 질 높인다 대규모 언어모델을 학습할 때 같은 모델의 교사 버전으로부터 지도를 받는 자가증류(OPSD) 방식이 있습니다. AI · 머신러닝 · Self-Distillation with Verbal Regularization
Key Point 언어모델 학습에서 교사-학생 구조의 편향 문제를 프롬프트 엔지니어링으로 해결하는 실질적인 방법론으로, 추론 성능을 높이면서도 모델의 탐색성을 보존하는 기술입니다.
핵심 요약
대규모 언어모델을 학습할 때 같은 모델의 교사 버전으로부터 지도를 받는 자가증류(OPSD) 방식이 있습니다. 교사는 정답 같은 특권정보(PI)를 조건으로 받지만, 학생은 이를 보지 못한 채 교사의 토큰 분포로부터 학습합니다. 하지만 특권정보는 깊은 검증 없이 지름길 추론으로 편향되는 문제가 생기며, 출력 분포의 엔트로피가 급격히 떨어집니다. 전체 요약 8문장 읽기 → 088 15:11 ▲ 60 · 댓글 1 루브릭 기반 강화학습의 보상 해킹, 단계별 그룹화로 해결 루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다. AI · 머신러닝 · Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
Key Point 루브릭 기반 강화학습에서 점수 조작을 방지하고 실제 품질을 높이는 구체적인 방법론이 제시되어, LLM 훈련에서 평가 메커니즘 설계의 중요성을 보여준다.
핵심 요약
루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다. 합산식 집계에서는 기준들이 상호 보완되어, 중요한 결정을 놓친 정책도 불필요한 조언으로 점수를 메워 높은 평가를 받을 수 있다. 임상 상담 실험에서 이런 정책은 루브릭 커버리지는 높아졌지만 의사의 실제 판단 기준에서는 훈련 전 모델보다 성능이 떨어졌다. 전체 요약 7문장 읽기 → 089 15:11 ▲ 52 · 댓글 1 BERT 인코더의 한계를 뛰어넘은 UltraBERT 최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다. AI · 머신러닝 · UltraBERT: Beyond the Limit of BERT Pre-Training
Key Point BERT 기반 인코더가 분류와 검색 작업을 함께 잘 처리하는 것이 불가능했던 문제를 처음으로 해결하며, 양방향 모델의 학습 방식과 마스킹 비율 설계에 대한 새로운 원칙을 제시한다.
핵심 요약
최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다. 연구진은 학습 설계의 핵심 선택지들을 재검토해 세 가지 주요 발견을 얻었다: (1) 인코더는 수조 개 토큰 이상에서 다운스트림 작업의 성능이 포화되어 추가 계산이 도움이 안 됨, (2) 낮은 마스킹 비율은 분류에 유리하고 높은 비율은 검색에 유리하며 이는 모델 크기와 무관하게 적용됨, (3) 증류와 프루닝은 낮은 마스킹 비율에서는 분류를 개선하지만 높은 비율에서는 검색을 악화시킴. 이 발견들을 바탕으로 UltraBERT는 배치 내에서 낮은 비율과 높은 비율의 마스킹에 각각 별도의 언어모델 헤드를 할당하고 증류 목표를 낮은 비율로만 제한하는 설계를 적용했다. 전체 요약 4문장 읽기 → 090 15:11 ▲ 50 · 댓글 1 확산 모델이 외부 도움 없이 자신을 개선하는 법 기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다. AI · 머신러닝 · SALD: Self-Referenced Advantage Learning for Diffusion Models
Key Point 확산 모델의 학습을 더 효율적으로 만들 수 있는 새로운 기법으로, 추가 모델이나 파라미터 없이 모델 자신의 내부 신호만으로 성능을 개선할 수 있다는 점이 의미 있다.
핵심 요약
기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다. SALD는 같은 모델으로 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크다. 낮은 노이즈 경로는 그래디언트 추적 없이 평가되어 참조값을 제공하고, 높은 노이즈 경로는 학습 그래디언트를 생성한다. 전체 요약 8문장 읽기 → 091 21:11 당일 +119 MCP 기반 AI 음성 대화 로봇, ESP32에서 구동 XiaoZhi는 Qwen/DeepSeek 같은 대형 언어모델을 활용한 음성 대화 AI 로봇으로, MCP 프로토콜을 통해 다중 단말 제어를 지원한다. 하드웨어 · 시스템 · 78/xiaozhi-esp32 · C++
Key Point ESP32 기반 오픈소스 음성 AI 로봇으로 Qwen/DeepSeek 같은 최신 대형언어모델을 임베디드 환경에서 구현하는 방식과 138개 보드 변형으로의 확장성을 보여준다.
핵심 요약
XiaoZhi는 Qwen/DeepSeek 같은 대형 언어모델을 활용한 음성 대화 AI 로봇으로, MCP 프로토콜을 통해 다중 단말 제어를 지원한다. Wi-Fi, 유선 이더넷, USB RNDIS, Cat.1 4G 등 다양한 네트워킹을 지원하며 보드에 따라 Wi-Fi와 4G 사이 전환이 가능하다. ESP-SR을 활용한 오프라인 음성 웨이크업, WebSocket과 MQTT+UDP 두 가지 통신 방식, Opus 음성 스트리밍, AEC 지원 기기의 실시간 전이중 상호작용을 제공한다. 전체 요약 12문장 읽기 → 092 15:11 ▲ 18 · 댓글 2 시각 모델도 '다각도로 생각한다'…공간 추론 학습법 제시 인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다. AI · 머신러닝 · SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
Key Point 거대 비전-언어 모델이 공간 추론 시 인간처럼 다각도 사고를 할 수 있도록 만드는 실질적인 학습 방법론을 제시해 모델 기반 시각 이해의 한계를 구체적으로 개선한다.
핵심 요약
인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다. 연구팀은 이를 '능동적 공간 심상화(Active Spatial Mentalization, ASM)'라 정의하고, LVLM에 이 능력을 내재화하는 SpatialASM 프레임워크를 제시했다. SpatialASM은 학습 단계에서 시뮬레이션된 다양한 시점으로 학습하며, 할로센트릭(allocentric) 뷰 생성 모델을 사용해 가설적 시점을 실제 시각 데이터에 근거하게 한다. 전체 요약 6문장 읽기 → 093 18:12 ▲ 18 · 댓글 2 언어모델 에이전트의 온라인 학습을 위한 재귀형 프레임워크 제안 언어모델 에이전트가 장시간 상호작용 스트림에서 분포 변화에 온라인으로 적응해야 하는데, 기존 에이전트 프레임워크는 순방향 정보 흐름만 사용하거나 재학습용 추가 데이터가 필요했다. AI · 머신러닝 · Recurrent Harness for Agentic Continual Learning
Key Point 장시간 상호작용을 처리하는 AI 에이전트의 지속적 학습 능력이 추론 정확도와 안정성에 직결되기 때문에, 오직 온라인 스트림만으로 효과적인 적응을 가능하게 하는 기술이 실제 배포에 중요하다.
핵심 요약
언어모델 에이전트가 장시간 상호작용 스트림에서 분포 변화에 온라인으로 적응해야 하는데, 기존 에이전트 프레임워크는 순방향 정보 흐름만 사용하거나 재학습용 추가 데이터가 필요했다. ReHarness는 순방향 읽기·쓰기와 역방향 수정을 결합한 재귀형 하네스 프레임워크를 제안해, 순수한 온라인 스트리밍 프로토콜 하에서 연속 학습을 지원한다. 각 인스턴스 이후 결과 궤적을 피드백으로 삼아 해당 인스턴스에서 검색한 반영(reflection)을 수정함으로써, 텍스트 기반 하네스 상태를 통해 피드백을 역방향으로 전파한다. 전체 요약 5문장 읽기 → 094 18:12 ▲ 14 · 댓글 2 그래프 이해 능력 진단하는 벤치마크 'GraphDecideBench' 공개 대언어모델(LLM)의 그래프 이해 및 의사결정 능력이 증가하고 있으나, Jev 같은 System One 모델의 그래프 관련 작업 성능은 명확하지 않았다. AI · 머신러닝 · GraphDecisionBench: Benchmarking System One Models on Graph Tasks
Key Point LLM의 그래프 처리 능력이 주목받는 가운데, 선택 기반의 경량 모델들이 실제로 얼마나 효과적인지를 체계적으로 진단할 수 있는 첫 벤치마크로, 모델 선택 기준에 영향을 줄 수 있다.
핵심 요약
대언어모델(LLM)의 그래프 이해 및 의사결정 능력이 증가하고 있으나, Jev 같은 System One 모델의 그래프 관련 작업 성능은 명확하지 않았다. 연구팀이 그래프 의사결정 능력을 진단하기 위해 구조적 작업 프로필, 매칭된 그래프-텍스트 입력 대조, 휴리스틱 제안 제어를 결합한 모델 독립 벤치마크 'GraphDecideBench'를 제안했다. Jev와 관련 선택 기반 모델들을 언어 모델 기준선과 함께 14개 모델-인터페이스 구성으로 평가했다. 전체 요약 7문장 읽기 → 095 15:11 ▲ 60 · 댓글 2 멀티모달 AI의 연산 비용을 줄이는 '탄력적 시각 표현' 기법 등장 멀티모달 대규모언어모델(MLLM)은 이미지를 균등한 고정 크기의 토큰으로 인코딩해 비용이 크지만, 실제로는 이미지 영역마다 필요한 세부도가 다르다. AI · 머신러닝 · VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
Key Point 다음 세대 멀티모달 모델 실서빙에서 비용과 속도를 동시에 개선하는 기술이 나왔으며, 기존 토큰 제거 기법보다 성능 유지 능력이 뛰어나다.
핵심 요약
멀티모달 대규모언어모델(MLLM)은 이미지를 균등한 고정 크기의 토큰으로 인코딩해 비용이 크지만, 실제로는 이미지 영역마다 필요한 세부도가 다르다. 기존 다운샘플링과 토큰 제거 기법들은 내용에 따른 세밀한 적응, 다양한 작업 지원, 최신 모델 통합에서 한계가 있었다. VisionWeave는 이미지 영역별로 세부도를 적응적으로 조절하는 '탄력적 시각 표현 짜기' 능력을 MLLM에 구현했다. 전체 요약 8문장 읽기 → 096 12:11 ▲ 49 · 댓글 2 장시간 프로그램 작성을 학습하는 AI 에이전트 프레임워크 공개 코딩 에이전트가 처음부터 완전한 프로그램을 작성하도록 학습할 수 있는 체계가 부족한 상황에서, 연구팀이 ProgramGym 프레임워크를 공개했다. AI · 머신러닝 · ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
Key Point 프로그램을 처음부터 작성하는 에이전트 개발에 필수적인 대규모 검증 환경과 실용적인 워크플로우를 처음 공개하는 것으로, AI 코딩 보조 도구의 자율성 수준을 한 단계 높이는 사례를 보여준다.
핵심 요약
코딩 에이전트가 처음부터 완전한 프로그램을 작성하도록 학습할 수 있는 체계가 부족한 상황에서, 연구팀이 ProgramGym 프레임워크를 공개했다. Program-Env는 저장소에서 검증 가능한 학습 환경을 자동으로 구성하며, 샌드박스 실행 오류를 수정하고 테스트 품질을 개선하는 피드백 루프를 활용한다. 이 파이프라인으로 C, C++, Go, Rust 프로그래밍 언어를 포함한 1,648개의 학습 환경을 확보했다. 전체 요약 6문장 읽기 → 097 12:11 ▲ 33 · 댓글 2 확률 분포 일치로 보정 없이 확산 언어모델 양자화 확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. AI · 머신러닝 · SoloQ: Calibration-Free Quantization for Diffusion Language Models
Key Point 확산 기반 언어모델의 배포 효율성이 점점 중요해지는 상황에서, 보정 데이터 없이도 정확도를 유지하는 양자화 기법이 실무 적용 시간을 크게 단축할 수 있다.
핵심 요약
확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. 기존 양자화 방법들은 마스킹 상태와 노이징 단계마다 활성화 분포가 바뀌어 보정 데이터가 필수였다. SoloQ는 가중치와 활성화를 정규화된 회전 기저로 매핑해 예측 가능한 주변 분포를 만들고, 이를 통해 데이터 독립적 양자화를 실현한다. 전체 요약 8문장 읽기 → 098 21:11 당일 +1,001 70B 대형언어모델을 4GB GPU에서 돌리는 AirLLM AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. AI · 머신러닝 · lyogavin/airllm · Jupyter Notebook
Key Point 소형 GPU로도 대규모 언어모델을 직접 구동할 수 있게 되면서 개인 개발자나 제한된 리소스 환경에서 최신 모델 실험이 가능해진다.
핵심 요약
AirLLM은 양자화·증류·가지치기 없이 단일 4GB GPU 카드에서 70B 규모 대형언어모델을 구동하는 추론 엔진이다. 한 번에 한 레이어만 GPU에 유지하는 방식으로 메모리 사용량을 최소화하며, Kimi K3(2.8T)는 3.72GB, DeepSeek-V3(671B)는 약 12GB, Qwen3.8-Flash-Next(125B)는 6GB에서 실행된다. 최신 버전(v3.0)은 FP8 모델을 지원하고, Llama·Qwen·DeepSeek·Phi·Gemma 등 대부분의 주요 오픈소스 LLM을 AutoModel을 통해 자동으로 감지해 지원한다. 전체 요약 11문장 읽기 → 099 12:11 ▲ 12 · 댓글 2 공간 추론 AI, 도구 없이도 학습 가능 멀티모달 대형언어모델(MLLM)의 공간 추론 능력을 높이는 기존 방식은 외부 코딩 도구를 써야 해 추론 시간이 길고 외부 의존성이 높다. AI · 머신러닝 · SpatialOPSD: Self-Distilling Spatial Intelligence from Verified Coding Agent Traces
Key Point 공간 추론 능력이 필요한 비전-언어 작업에서 외부 도구 의존을 제거하면서도 성능을 유지할 수 있다는 점이 중요하며, 자기 증류를 통한 에이전트 능력 내재화는 더 효율적인 AI 시스템 구축에 시사점을 준다.
핵심 요약
멀티모달 대형언어모델(MLLM)의 공간 추론 능력을 높이는 기존 방식은 외부 코딩 도구를 써야 해 추론 시간이 길고 외부 의존성이 높다. 연구팀은 MLLM이 도구 없이 공간 추론을 스스로 수행할 수 있는지 탐구했고, 검증된 코딩 에이전트의 실행 추적(trace)을 요약해 모델에 보여주면 내부 사고 과정이 활성화됨을 발견했다. 이를 바탕으로 SpatialOPSD라는 자기 증류(self-distillation) 프레임워크를 제안했으며, 검증된 에이전트 추적을 특권 정보로 취급해 모델에 공간 추론을 내재화한다. 전체 요약 5문장 읽기 → 100 03:11 ▲ 16 · 댓글 2 반복 순회로 빠른 추론 성능을 높인 SanSi 모델 사전학습된 언어모델을 타입화된 결정 모델로 변환하는 SanSi를 제안한다. AI · 머신러닝 · SanSi: A Looped Typed Decision Model for System 1.5 Thinking
Key Point 빠른 추론 속도와 높은 정확도를 동시에 원하는 프로덕션 환경에서 루핑을 통한 점진적 성능 향상이 실질적으로 작동함을 보여준다.
핵심 요약
사전학습된 언어모델을 타입화된 결정 모델로 변환하는 SanSi를 제안한다. 기존의 단일 전향 통과(System 1 사고)와 생성형 추론 사이의 중간 영역을 탐색하기 위해 루핑(같은 레이어를 재귀적으로 여러 번 적용)을 도입했다. 각 루프마다 모델이 답변을 생성하지 않고 숨겨진 상태를 수정한 후 의사결정 헤드로부터 각 선택지의 확률을 읽는다. 전체 요약 8문장 읽기 →