쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
25건 · "학습 효율"조건 지우기 ×
001 00:11 ▲ 381 · 댓글 4 LLM 에이전트 강화학습, 턴 단위 신용할당으로 최적화 장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다. AI · 머신러닝 · Multiscale Policy Optimization for Long-Horizon LLM Agents
Key Point LLM 에이전트의 장시간 작업에서 어디에 책임을 할당할지 판단하는 방식을 개선함으로써, 복잡한 추론 작업에서 강화학습 효율을 높일 수 있기 때문이다.
핵심 요약
장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다. 현재 방식에서 비평가(critic) 값이 주로 턴(turn) 간에 변화하는 것을 발견했다. 이에 따라 턴 단위에서 최적화하면서 토큰 간 신용할당을 세밀하게 조정할 필요가 있다. 전체 요약 7문장 읽기 → 002 21:11 ▲ 14 · 댓글 2 주의력 레이어에 희소성 더하는 Nestor 모델 제안 현재 대규모 언어 모델은 Mixture-of-experts(MoE) 트랜스포머를 사용하며, MoE 연산자에서만 조건부 계산으로 가중치의 일부만 활용한다. AI · 머신러닝 · Nested Sparsity for Scalable Pretraining and Continual Learning
Key Point 조건부 계산의 새로운 메커니즘이 기존 MoE 모델의 학습 효율과 연속 학습 능력을 동시에 개선하는 구체적인 방법을 제시하고 있습니다.
핵심 요약
현재 대규모 언어 모델은 Mixture-of-experts(MoE) 트랜스포머를 사용하며, MoE 연산자에서만 조건부 계산으로 가중치의 일부만 활용한다. 이 논문은 주의력 연산자를 일반화한 대안적 조건부 계산 메커니즘을 제안하며, 이는 MoE 희소성과 계층적으로 결합되는 '중첩 희소성'을 만든다. Nestor라 명명한 이 모델은 동일한 계산량과 희소성에서 기존 MoE 트랜스포머보다 언어 모델 사전학습에서 더 나은 성능을 보인다. 전체 요약 6문장 읽기 → 003 18:11 ▲ 30 · 댓글 3 루핑 트랜스포머의 역전파 자르기, 규모 법칙으로 최적값 찾다 루핑 트랜스포머는 공유 레이어 블록을 반복 사용해 학습 가능한 매개변수 수는 유지하면서 계산 깊이를 늘리는 구조이며, 역전파 시간(BPTT)으로 학습된다. AI · 머신러닝 · Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation
Key Point 루핑 트랜스포머의 학습에서 계산량 절약을 위한 역전파 자르기가 실제로 최적인지를 대규모 실험으로 체계적으로 검증한 결과로, 효율성과 성능의 트레이드오프를 명확히 한다.
핵심 요약
루핑 트랜스포머는 공유 레이어 블록을 반복 사용해 학습 가능한 매개변수 수는 유지하면서 계산 깊이를 늘리는 구조이며, 역전파 시간(BPTT)으로 학습된다. 학습 계산량을 줄이기 위해 BPTT를 최근 몇 루프로 잘라내는 방식이 흔하지만, 잘라냄으로 인한 기울기 편향이 루핑의 이점을 약화시킬 수 있다. 연구팀은 약 600번의 학습 실행을 통해 모델 크기, 학습 토큰 수, 정방향·역방향 루프 횟수를 함께 변화시켜 루핑과 잘라냄의 효과를 포착하는 통합 규모 법칙을 도출했다. 전체 요약 8문장 읽기 → 004 00:11 ▲ 31 · 댓글 2 LLM 에이전트 자체 학습 능력 강화법 제시 LLM 에이전트가 모델 파라미터를 업데이트하지 않고 실행 경험에서 학습하는 harness self-evolution에서, 같은 스킬이 강한 모델과 약한 모델에 미치는 영향이 크게 다르다는 문제를 발견했다. AI · 머신러닝 · Evolving to Match Capabilities: Improving Harness Self-Evolution via Skill Adaptation
Key Point 약한 LLM 모델의 성능 저하 문제를 스킬 적응으로 해결하는 구체적인 방법론이 제시되어, 실무에서 다양한 규모의 언어 모델을 배포하는 개발자들이 자체 학습 효율을 크게 높일 수 있다.
핵심 요약
LLM 에이전트가 모델 파라미터를 업데이트하지 않고 실행 경험에서 학습하는 harness self-evolution에서, 같은 스킬이 강한 모델과 약한 모델에 미치는 영향이 크게 다르다는 문제를 발견했다. 7개 모델과 3개 벤치마크에서 103개의 작업-스킬 조합을 분석한 결과, 어떤 스킬은 GPT-5.6-luna의 성능을 31.1점 높였지만 Gemma-4-E4B의 성능을 8.8점 낮췄다. 약한 모델의 실패 사례 86%에서 스킬 자체에 이미 명시된 요구사항을 위반했으므로, 실행자의 능력에 맞게 스킬을 재작성하는 skill adaptation을 제안했다. 전체 요약 7문장 읽기 → 005 00:11 ▲ 26 · 댓글 2 LLM 에이전트 강화학습의 신용 할당 문제 해결한 ProAS 프레임워크 LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. AI · 머신러닝 · ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Key Point 다단계 추론이 필요한 LLM 에이전트의 강화학습 효율성을 크게 개선하는 방법론이 제시되어, 언어 모델 기반 자동화 시스템의 성능 향상에 직결된다.
핵심 요약
LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. 이 접근 방식은 선호되는 궤적에서 구조적으로 비합리적인 행동을 강화하고, 비선호 궤적에서 각 행동의 하위 편차를 무시한다. ProAS는 동적으로 진화하는 에이전틱 레퍼런스 그래프(ARG)를 활용해 비합리적 인센티브 마스킹(MUI)과 비대칭 페널티 재배분(APR)을 통한 세밀한 신용 할당을 구현한다. 전체 요약 5문장 읽기 → 006 12:11 ▲ 359 · 댓글 3 성공한 궤적도 학습 데이터로 부족한 이유 도구 사용 에이전트 학습에서 성공한 상호작용 궤적도 여러 단계의 의존성을 놓치거나 에이전트가 실제로 볼 수 없는 정보를 바탕으로 한 행동을 포함할 수 있다. AI · 머신러닝 · Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents
Key Point 기존에 성공한 상호작용만 학습 데이터로 사용하는 방식의 근본적 문제를 제시하고, 다단계 의존성과 결정 근거를 모두 만족하는 상호작용을 설계하는 방법을 제안하여 에이전트의 학습 효율을 크게 개선한다.
핵심 요약
도구 사용 에이전트 학습에서 성공한 상호작용 궤적도 여러 단계의 의존성을 놓치거나 에이전트가 실제로 볼 수 없는 정보를 바탕으로 한 행동을 포함할 수 있다. 효과적인 궤적 감독을 위해서는 중요한 관찰-행동 의존성이 모두 표현되는 구성 커버리지와 각 행동이 에이전트의 학습 가능한 상호작용 이력으로 정당화되는 결정 기반이라는 두 가지 조건이 필요하다. Trajectory2Gym은 지원이 부족한 구성 구조 주변에 실행 가능한 상호작용을 구성하고, 실제 실행에서 정당화된 결정들만을 감독 신호로 사용한다. 전체 요약 8문장 읽기 → 007 00:11 ▲ 15 · 댓글 1 다중 에이전트 팀에서 어떤 스킬을 개선할지 판단하는 GRSE 알고리즘 협력하는 언어 모델 에이전트는 재사용 가능한 스킬을 수정해 가중치 업데이트 없이 개선할 수 있으나, 공유 팀 보상을 책임 있는 에이전트와 스킬로 추적해야만 한다. AI · 머신러닝 · Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams
Key Point 멀티 에이전트 시스템에서 실제로 성능을 올린 스킬을 정확히 찾아내는 것이 학습 효율을 크게 좌우하기 때문에, 기존 방법의 신용 할당 문제를 해결하는 GRSE의 접근이 의미 있다.
핵심 요약
협력하는 언어 모델 에이전트는 재사용 가능한 스킬을 수정해 가중치 업데이트 없이 개선할 수 있으나, 공유 팀 보상을 책임 있는 에이전트와 스킬로 추적해야만 한다. 기존 방법은 각 실행 경로에 나타난 스킬을 신용 할당하지만, 나타남이 책임은 아니므로: 성공한 실행에서 활성화된 해로운 스킬도 긍정적 신용을 받는다. GRSE(Group-Relative Skill Evolution)는 비교를 통해 행동 신용을 할당하며, GRPO에서 영감을 받아 같은 스킬 라이브러리 하에서 각 질문을 여러 번 실행하고 실행들을 대조해 에이전트-스킬 쌍을 신용하며 실패를 구조화된 진단한다. 전체 요약 6문장 읽기 → 008 15:11 ▲ 44 · 댓글 2 LLM 추론 과정을 자체 스타일로 복원하는 TraceForge 발표 프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다. AI · 머신러닝 · TraceForge: Distilling with Your Own Thinking
Key Point 상용 LLM의 추론 과정 접근을 제한하는 현실에서, 약관을 위반하지 않으면서도 모델의 자체 스타일로 추론을 복원해 학습 효율을 높일 수 있는 대안을 제시한다.
핵심 요약
프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다. TraceForge는 교사 모델의 답변과 맥락에서 학생 모델 패밀리의 스타일로 추론 흔적을 생성하는 방식을 제안한다. 생성기가 교사 답변에서 추론 흔적을 재생성하도록 학습하고, 비평가가 실제 흔적의 진정성을 판단하는 2단계 학습(지도학습 후 적대적 학습)을 수행한다. 전체 요약 7문장 읽기 → 009 09:11 ▲ 13 · 댓글 2 형식검증으로 강화한 LLM 에이전트 학습, Lean4AgenticRL LLM의 에이전트 능력을 강화하기 위해 복잡한 소프트웨어 엔지니어링과 터미널 작업 문제를 풀어야 하는 상황에서, 기존 모델들은 고수준의 결과 보상에만 의존해 학습 효율이 낮았다. AI · 머신러닝 · Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards
Key Point 기존 LLM 에이전트 학습에서 다단계 보상 검증을 도입해 실제 성능 향상을 입증한 사례로, 형식 검증이 강화학습 효과성을 높일 수 있음을 보여준다.
핵심 요약
LLM의 에이전트 능력을 강화하기 위해 복잡한 소프트웨어 엔지니어링과 터미널 작업 문제를 풀어야 하는 상황에서, 기존 모델들은 고수준의 결과 보상에만 의존해 학습 효율이 낮았다. Lean4AgenticRL은 Lean4 형식화 체계에 다단계 프로세스 보상을 통합한 첫 번째 프레임워크로, 에이전트의 능력과 제어성 사이 균형을 맞추는 문제별 워크플로우 시스템을 구축한다. 워크플로우 형식화와 다단계 보상 주석 방식을 통해 일반 하니스 시스템 내에서 에이전트 동작을 검증하며, 저수준 도구 호출 보상과 중수준 워크플로우 단계 보상을 포함한다. 전체 요약 7문장 읽기 → 010 03:11 ▲ 10 · 댓글 2 재귀 에이전트가 스스로 판단하도록 학습시키는 SERA 재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다. AI · 머신러닝 · Self-Evaluating Recursive Agents
Key Point 재귀 에이전트의 자기 평가 능력이 학습 효율과 성능을 동시에 높일 수 있다는 새로운 학습 패러다임으로, 외부 감독을 줄이면서도 복잡한 작업 분해 에이전트를 더 효과적으로 훈련하는 길을 열어준다.
핵심 요약
재귀 언어모델 에이전트는 작업을 세분화하여 자식 인스턴스에 위임하는 트리 구조로 동작하지만, 중간 과정의 검증 없이는 학습이 어렵다. 기존 방식은 외부 검증자로 각 노드를 평가해야 하므로 계산 비용이 크고 분해 품질을 평가하지 못한다. SERA는 평가를 에이전트 정책 자체의 학습된 능력으로 전환한다: 부모 에이전트가 자식 작업에 대한 가중 성공 기준 룰브릭을 작성한다. 전체 요약 9문장 읽기 → 011 06:11 ▲ 11 · 댓글 3 언어모델 학습, 중간 계산 구조까지 모방하는 방식 제시 기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다. AI · 머신러닝 · OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
Key Point 출력 공간의 감독을 넘어 모델의 내부 계산 구조를 직접 전이하는 새로운 증류 방식으로, 학생 모델의 추론 능력과 학습 효율을 근본적으로 향상시키는 접근법입니다.
핵심 요약
기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다. 표현 매칭 같은 단순한 중간 계층 증류는 불충분한데, 교사와 학생의 표현이 기하학적으로 다를 수 있고 정렬된 은닉 상태도 학생의 후속 계산에 사용 불가능할 수 있기 때문이다. 연구진은 온폴리시 메커니즘 증류(OPMD)를 제안하여, 학생이 실제로 사용 가능하도록 교사 표현을 학생의 중간 상태로 변환하는 학생 호환 교사를 먼저 구축한다. 전체 요약 6문장 읽기 → 012 12:10 ▲ 10 · 댓글 2 GQA의 3가지 딜레마를 동시에 푸는 Virtual Head Attention 긴 문맥 처리 시 KV 캐시 크기, 학습·프리필 연산량, 모델 품질을 동시에 개선하기는 어렵다는 '불가능의 삼각형'에 직면한 어텐션 메커니즘 설계에 대응하기 위해 Virtual Head Attention(VHA)을 제안한다. AI · 머신러닝 · Virtual Head Attention
Key Point KV 캐시 메모리와 학습 효율, 모델 품질의 균형을 동시에 달성해야 하는 LLM 개발자들이 GQA의 근본적 한계를 극복할 수 있는 방법을 제시합니다.
핵심 요약
긴 문맥 처리 시 KV 캐시 크기, 학습·프리필 연산량, 모델 품질을 동시에 개선하기는 어렵다는 '불가능의 삼각형'에 직면한 어텐션 메커니즘 설계에 대응하기 위해 Virtual Head Attention(VHA)을 제안한다. VHA는 두 개의 경량 선형 연산으로 구성되는데, Q Premix가 쿼리 헤드 개수를 절반으로 줄인 상태에서 KV 그룹 내 가상 헤드 다양성을 복구하고, Linear Postmix가 낮은 순위의 I + AB^top 잔여 구조를 통해 헤드 간 특징을 융합한다. VHA는 비선형 연산을 도입하지 않으므로 Premix와 Postmix를 추론 시간에 각각 쿼리 프로젝션과 출력 프로젝션으로 폴드할 수 있어, 표준 GQA-2 아키텍처로 축약되면서 기존의 모든 GQA 추론 최적화를 직접 재사용할 수 있다. 전체 요약 6문장 읽기 → 013 00:11 ▲ 39 · 댓글 2 다중 정답 처리로 LLM 추천 모델 학습 효율화 Reddit 같은 환경에서 추천 요청에 여러 정답이 나올 때 기존 Rank-GRPO는 훈련 예제당 하나의 응답만 선택하는데, 이는 학습 신호의 85%가 어떤 응답을 선택했는지에만 좌우되고 생성 목록의 질은 제대로 반영되지 않는 문제가 있다. AI · 머신러닝 · Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
Key Point 여러 정답을 처리하는 방식이 LLM 추천 모델의 학습 효율을 크게 좌우하며, 제안된 방법이 기존 방식 대비 더 적은 자원으로 동등하거나 우수한 성능을 낸다는 실용적 개선을 보여준다.
핵심 요약
Reddit 같은 환경에서 추천 요청에 여러 정답이 나올 때 기존 Rank-GRPO는 훈련 예제당 하나의 응답만 선택하는데, 이는 학습 신호의 85%가 어떤 응답을 선택했는지에만 좌우되고 생성 목록의 질은 제대로 반영되지 않는 문제가 있다. ReMaRk라는 새로운 방식을 제안하는데, 각 목록을 한 번에 모든 응답의 제목을 합친 것과 비교 평가하고 각 요청을 동등하게 샘플링한다. 7개의 기본 모델과 3개의 데이터셋에서 실험한 결과 ReMaRk는 Rank-GRPO가 2,000번의 단일-응답 강화학습 스텝을 거쳐야 달성하는 검증 재현율을 25~53% 더 적은 스텝으로 도달한다. 전체 요약 5문장 읽기 → 014 18:11 ▲ 96 · 댓글 2 장기 작업 자동화 AI, 밀도 높은 보상으로 학습 난제 해결 수 시간에서 수 일에 걸친 장기 과제를 자율적으로 수행하는 에이전트 개발이 주목받고 있으나, 오픈소스 모델들은 학습 데이터 부족과 효과적인 학습 방법 부재로 어려움을 겪고 있다. AI · 머신러닝 · Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
Key Point 장기 자동화 작업의 학습 데이터 부족과 희소 보상 문제를 해결한 구체적인 방법론과 검증 가능한 데이터셋을 제시하여 오픈소스 장기 에이전트 개발의 실질적인 진전을 가능하게 한다.
핵심 요약
수 시간에서 수 일에 걸친 장기 과제를 자율적으로 수행하는 에이전트 개발이 주목받고 있으나, 오픈소스 모델들은 학습 데이터 부족과 효과적인 학습 방법 부재로 어려움을 겪고 있다. 연구팀은 Tev-Gym이라는 첫 번째 장기 에이전트 학습 데이터셋을 제시했으며, 7개 도메인의 1,170개 검증된 과제 환경을 포함하고 검증 가능한 밀도 높은 진행 보상을 제공한다. 잠재 세계 우선 접근법으로 작동하여 먼저 완전하고 정확한 숨겨진 작업 명세를 구성하고, 각 단계마다 예상되는 상태를 지정한 뒤, 과제를 점진적으로 렌더링해 제어 가능한 복잡성과 자연스러운 진행 지표를 제공한다. 전체 요약 6문장 읽기 → 015 12:11 ▲ 12 · 댓글 2 성장하는 신경망, 학습 데이터를 직접 저장했다 딥러닝의 일반 목적 계층으로서, 학습 데이터를 고정 크기의 가중치 행렬로 압축하지 않고 모든 데이터 포인트마다 키-값 표현을 저장했다가 추론 시 어텐션으로 검색·결합하는 성장형 신경망을 제시했다. AI · 머신러닝 · Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks
Key Point 매개변수 크기를 고정하지 않고 데이터를 직접 저장하는 방식이 기존 신경망 설계와 어떻게 다르며, 실제 성능상 이점이 있는지 확인할 수 있는 새로운 학습 패러다임입니다.
핵심 요약
딥러닝의 일반 목적 계층으로서, 학습 데이터를 고정 크기의 가중치 행렬로 압축하지 않고 모든 데이터 포인트마다 키-값 표현을 저장했다가 추론 시 어텐션으로 검색·결합하는 성장형 신경망을 제시했다. 기존 선형 어텐션(LA) 이론을 확장해 RBF와 소프트맥스 커널 같은 고급 커널을 사용할 경우 기울기 기반 최적화가 자명하지 않은 문제를 발견했다. 함수형 기울기(functional gradient) 기반 학습 규칙을 개발하여 커널화된 어텐션 계층의 원칙적인 최적화 방법을 제시했다. 전체 요약 5문장 읽기 → 016 15:13 ▲ 29 · 댓글 2 텍스트-이미지 모델의 보상 조합 방식으로 생성 품질 향상 기존 텍스트-이미지 생성 모델은 시각 품질이 뛰어나지만, 단일 보상 신호로는 인간의 선호도 전체를 포착할 수 없어 학습 후 개선이 어렵다. AI · 머신러닝 · Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
Key Point 선호도와 규칙 기반 보상을 조합하는 방식으로 최신 텍스트-이미지 생성 모델의 사후 학습 효율을 크게 개선하는 실질적 방법론을 제시한다.
핵심 요약
기존 텍스트-이미지 생성 모델은 시각 품질이 뛰어나지만, 단일 보상 신호로는 인간의 선호도 전체를 포착할 수 없어 학습 후 개선이 어렵다. 이 연구는 상호 보완적인 두 가지 보상 신호를 조합하는 사후 학습 방식을 제안했다: Bradley-Terry 목적함수로 인간의 미적·지각적 선호를 학습한 선호도 보상과, 프롬프트 충실도와 다른 바람직한 속성을 명시적으로 평가하는 규칙 기반 보상이다. 단순 가중 평균은 최적 아래의 학습 거동을 초래하므로, 선호도 최적화와 규칙 만족을 더 효과적으로 균형 잡는 새로운 보상 조합 전략을 제시했다. 전체 요약 5문장 읽기 → 017 00:11 ▲ 77 · 댓글 2 온정책 학습의 매개변수 업데이트 방향이 LLM 일반화 능력 좌우한다 온정책(on-policy) 포스트트레이닝은 강한 일반화 성능을 보이는데, 기존 연구들은 이 과정의 매개변수 업데이트 행동을 단순 부산물로만 취급했다. AI · 머신러닝 · On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
Key Point LLM 포스트트레이닝에서 온정책 방식의 우수한 일반화 능력을 효율적인 SFT 방식으로도 구현 가능하다는 것을 보여줌으로써, 실제 모델 학습 전략의 개선 방향을 제시한다.
핵심 요약
온정책(on-policy) 포스트트레이닝은 강한 일반화 성능을 보이는데, 기존 연구들은 이 과정의 매개변수 업데이트 행동을 단순 부산물로만 취급했다. 연구팀은 SFT(지도 미세조정)가 일관된 방향으로 매개변수를 업데이트하는 반면, 온정책 패러다임은 학습 중 지속적으로 방향을 조정한다는 점을 발견했다. 각 매개변수의 누적 업데이트 방향이 핵심 행동이라는 가설을 바탕으로, OPSFT(온정책 방향 제약 지도 미세조정) 기법을 제안했다. 전체 요약 7문장 읽기 → 018 18:11 ▲ 52 · 댓글 2 마스크 기반 확산 모델의 학습 효율성을 높이는 Pivot-SD 마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. AI · 머신러닝 · Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
Key Point 마스크 기반 확산 모델의 학습 비효율을 지목하고, 고영향 결정점만 선별 학습하는 새로운 자기증류 방식이 소규모 데이터로도 기존 방법을 능가하는 결과를 보여준다.
핵심 요약
마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. 기존 dLM 학습 방식은 이러한 신호를 활용하지 않으며, 최종 텍스트나 전체 노이징 단계에 보상을 할당하는 방식으로 개별 핵심 토큰 결정을 선별하지 않는다. Pivot-SD는 오프라인 자기증류 프레임워크로서, 오직 응답 형성에 큰 영향을 미치는 핵심 결정점(pivot)만을 감독한다. 전체 요약 5문장 읽기 → 019 09:11 ▲ 54 · 댓글 2 에이전트 학습 효율 높이는 'X-Tree' 알고리즘 개발 멀티스텝 에이전트를 학습할 때 기존 방식은 모든 액션 토큰을 동등하게 취급해 반복되는 부분 절차를 놓쳤다. AI · 머신러닝 · X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
Key Point 에이전트가 재사용 가능한 스킬을 가중치로 학습하면서 새로운 작업으로의 일반화 성능이 크게 향상되는 방식을 제시해, 멀티스텝 의사결정이 필요한 AI 시스템 개발에 실질적 개선을 가져온다.
핵심 요약
멀티스텝 에이전트를 학습할 때 기존 방식은 모든 액션 토큰을 동등하게 취급해 반복되는 부분 절차를 놓쳤다. 최근 에이전트들은 LLM이 문맥으로 작성한 스킬만 활용해 가중치에 반영되지 않아 새 상황에 일반화하지 못했다. 연구팀은 X-Tree(reusable eXperience tree) 기법으로 학습 데이터에서 계층 구조를 자동으로 복원했다. 전체 요약 9문장 읽기 → 020 15:11 ▲ 35 · 댓글 2 고압축·고속학습 이미지생성 모델, DC-SAE 공개 이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. AI · 머신러닝 · DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence
Key Point 고압축 토크나이저는 대규모 이미지 생성 모델의 학습 효율을 좌우하는데, DC-SAE가 압축률과 학습 속도 양쪽을 동시에 개선하는 방법을 제시한다.
핵심 요약
이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. 기존 의미 기반 오토인코더는 중간 수준 압축에만 제한되고 픽셀 수준의 세부정보를 잃어 정확한 복원이 어렵다. DC-SAE는 의미 기반 인코더로 높은 압축을 가능하게 하고, 픽셀 수준 인코더로 저수준 세부정보를 보존한다. 전체 요약 6문장 읽기 → 021 18:11 ▲ 64 · 댓글 1 어텐션의 계산 효율을 높이는 MALA 메커니즘 제안 기존 Full Attention은 QK 타일 계산 후 전체 후속 경로를 실행하지만 정규화 가중치에서 대부분의 값이 무시할 수준으로 작아 비효율적이다. AI · 머신러닝 · MassAlloc Attention: Let Attention Allocate Its Own Compute
Key Point Full Attention의 비효율적 계산 패턴을 식별하고 실제 기여도 기반 할당으로 2~3배 속도 향상을 달성하면서도 모델 성능을 유지하는 방법으로, 대규모 언어 모델의 추론·학습 효율을 개선하는 데 직결된다.
핵심 요약
기존 Full Attention은 QK 타일 계산 후 전체 후속 경로를 실행하지만 정규화 가중치에서 대부분의 값이 무시할 수준으로 작아 비효율적이다. MALA(MassAlloc Attention)는 정규화된 기여도에 따라 후속 계산을 선택적으로 할당하는 퓨즈드 어텐션 프리미티브로, 순전파는 온라인 소프트맥스 정규화기를, 역전파는 최종 정규화기를 재사용한다. 하나의 공통 임계값으로 학습과 추론에서 적응적 유지(retention)가 가능하며, 8K 토큰 비교에서 생략된 질량은 0.0188%로 기준 오라클의 0.0182%에 근접한다. 전체 요약 7문장 읽기 → 022 18:11 ▲ 27 · 댓글 1 장시간 작업하는 AI 에이전트, GPU 효율 높이는 학습 프레임워크 공개 Qwen 팀이 극장시간(xlong-horizon) 작업을 수행하는 LLM 에이전트를 강화학습하기 위한 QwenGyre 프레임워크를 발표했다. AI · 머신러닝 · QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents
Key Point 수일 이상 걸리는 복잡한 작업을 수행하는 AI 에이전트의 학습을 현실적으로 가능하게 하는 기술이며, GPU 자원 활용률을 대폭 개선해 실무 배포 가능성을 높인다.
핵심 요약
Qwen 팀이 극장시간(xlong-horizon) 작업을 수행하는 LLM 에이전트를 강화학습하기 위한 QwenGyre 프레임워크를 발표했다. 단일 실행이 수 시간에 걸치고 수백 번의 모델-환경 상호작용과 롤아웃당 거의 100만 토큰을 처리하는 극장시간 작업에서 온라인 강화학습을 적용할 때 두 가지 핵심 문제가 발생한다. 첫째, 심각한 실행 편차와 연장된 롤아웃 지연으로 인한 대규모 GPU 유휴; 둘째, 복잡한 비선형 분기로 인한 궤적 중복이 학습 효율을 낮춘다. 전체 요약 7문장 읽기 → 023 22:29 ▲ 24 · 댓글 2 영상 생성 AI의 보상 신호 불안정성, 기준 기반 평가로 해결 영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. AI · 머신러닝 · RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
Key Point 영상 생성 AI를 강화학습으로 최적화할 때 보상 신호의 불안정성은 학습 효율을 크게 떨어뜨리는데, 명시적 평가 기준을 도입하는 이 접근법이 문제 해결에 새로운 방향을 제시한다.
핵심 요약
영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. RewardVerse는 평가 기준을 동적으로 생성한 후 그에 맞춰 점수를 매기는 방식으로, 명시적 평가 기준을 중간 표현으로 삽입해 점수의 안정성을 높인다. 이를 효율적으로 최적화하기 위해 제안된 Rubric-Guided Policy Optimization(RGPO)는 자기진화 초기 기준으로 평가 모델을 먼저 준비한 후, 기준 생성기와 평가기를 함께 최적화하면서 인간 평가와 정렬하는 2단계 학습 알고리즘이다. 전체 요약 4문장 읽기 → 024 15:11 ▲ 46 · 댓글 2 텍스트·이미지·영상·음성을 하나로 이해하는 멀티모달 임베딩 모델 공개 Hugging Face 연구팀이 텍스트, 이미지, 영상, 음성을 통합으로 처리하는 Ovis-Embedding을 발표했다. AI · 머신러닝 · Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
Key Point 단일 모달리티 검색의 한계를 극복하고 텍스트-영상, 음성-텍스트 등 크로스 모달 검색이 필요한 개발자와 연구자에게 새로운 기술 선택지를 제공한다.
핵심 요약
Hugging Face 연구팀이 텍스트, 이미지, 영상, 음성을 통합으로 처리하는 Ovis-Embedding을 발표했다. 기존의 분리된 모달리티 타워 대신 공유 멀티모달 백본을 사용해 모든 데이터를 공통 표현 공간으로 인코딩한다. Qwen-omni 사전학습 모델을 기반으로 대조 학습과 저랭크 초기화를 통해 학습했다. 전체 요약 5문장 읽기 → 025 21:11 ▲ 103 · 댓글 6 LLM 강화학습의 '매튜 효과' 문제 진단 및 해결책 제시 LLM 강화학습 평가에서 평균 성능 향상이 쉬운 문제 개선에만 치우치고 어려운 문제는 거의 개선되지 않는 '매튜 효과'가 발생한다. AI · 머신러닝 · Learning to solve hard problems in RL for LLMs by never giving up
Key Point RL 기반 LLM 학습에서 성능 지표가 상승해도 실제로는 어려운 문제 해결 능력은 거의 개선되지 않는 숨은 편향을 공개하고, 계산 효율성을 통해 이 문제를 해결하는 방향을 제안하는 실증 연구이기 때문입니다.
핵심 요약
LLM 강화학습 평가에서 평균 성능 향상이 쉬운 문제 개선에만 치우치고 어려운 문제는 거의 개선되지 않는 '매튜 효과'가 발생한다. 수학, 코딩, 에이전트 작업 등 여러 도메인에서 RL이 초기 성능이 좋은 작업일수록 개선폭이 크고, 원래 풀지 못하던 문제는 개선되지 않는 현상이 반복되었다. 더 많은 샘플링(k 값 증가)이 어려운 문제의 드문 정답은 찾지만, 동시에 쉬운 문제의 드문 오답도 증가시켜 학습 효율을 악화시킨다. 전체 요약 4문장 읽기 → 
