쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
15건 · "신용 할당"조건 지우기 ×
001 12:11 ▲ 256 · 댓글 4 디퓨전 언어 모델의 강화학습을 위한 토큰 신용 할당 디퓨전 언어 모델(DLM)은 반복 제거(denoising)로 텍스트를 생성하며 양방향 문맥 모델링과 병렬 토큰 정제가 가능하다. AI · 머신러닝 · DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models
Key Point 디퓨전 모델 기반 언어 모델에 강화학습을 효과적으로 적용하는 방식이 제시되었으며, 토큰별 신용 할당 문제를 해결함으로써 수학 추론 성능에서 실질적 개선을 보였다.
핵심 요약
디퓨전 언어 모델(DLM)은 반복 제거(denoising)로 텍스트를 생성하며 양방향 문맥 모델링과 병렬 토큰 정제가 가능하다. DLM에 강화학습을 적용하면 추론 성능이 개선되지만, 반복 제거 과정에서 토큰별 신용 할당이 어렵다는 문제가 있다. 제안된 DTCA(Denoising Token Credit Assignment) 프레임워크는 토큰 약속 후 남은 마스크 위치의 예측 신뢰도 개선으로 토큰 기여도를 추정한다. 전체 요약 6문장 읽기 → 002 00:11 ▲ 26 · 댓글 2 LLM 에이전트 강화학습의 신용 할당 문제 해결한 ProAS 프레임워크 LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. AI · 머신러닝 · ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Key Point 다단계 추론이 필요한 LLM 에이전트의 강화학습 효율성을 크게 개선하는 방법론이 제시되어, 언어 모델 기반 자동화 시스템의 성능 향상에 직결된다.
핵심 요약
LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다. 이 접근 방식은 선호되는 궤적에서 구조적으로 비합리적인 행동을 강화하고, 비선호 궤적에서 각 행동의 하위 편차를 무시한다. ProAS는 동적으로 진화하는 에이전틱 레퍼런스 그래프(ARG)를 활용해 비합리적 인센티브 마스킹(MUI)과 비대칭 페널티 재배분(APR)을 통한 세밀한 신용 할당을 구현한다. 전체 요약 5문장 읽기 → 003 18:11 ▲ 33 · 댓글 2 LLM 추론 강화에 새로운 액터-크리틱 알고리즘 S3AC 제시 롱 체인-오브-소트(CoT) 추론을 위한 강화학습에서 크리틱(가치함수)을 효과적으로 훈련하는 방법이 부재한 문제를 해결한 논문이다. AI · 머신러닝 · S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
Key Point 대규모 언어 모델의 추론 능력을 효율적으로 향상시키려는 개발자와 연구자에게 확장 가능한 크리틱 훈련 방식을 제시하며, 특히 단일 롤아웃으로 안정적 훈련을 지속하는 기술적 진전이 실무 적용 비용 절감으로 직결된다.
핵심 요약
롱 체인-오브-소트(CoT) 추론을 위한 강화학습에서 크리틱(가치함수)을 효과적으로 훈련하는 방법이 부재한 문제를 해결한 논문이다. 기존 크리틱 없는 방법들은 토큰 수준의 신용 할당이 어렵고 그룹 롤아웃으로 기준선을 추정해야 했다. S3AC는 훈련된 크리틱으로 토큰별 이득과 프롬프트별 기준선을 제공하며, 길이가 다른 궤적의 불충분한 커버리지와 초기 기울기 문제를 해결하는 실용적인 훈련 레시피를 제시한다. 전체 요약 7문장 읽기 → 004 00:11 ▲ 15 · 댓글 1 다중 에이전트 팀에서 어떤 스킬을 개선할지 판단하는 GRSE 알고리즘 협력하는 언어 모델 에이전트는 재사용 가능한 스킬을 수정해 가중치 업데이트 없이 개선할 수 있으나, 공유 팀 보상을 책임 있는 에이전트와 스킬로 추적해야만 한다. AI · 머신러닝 · Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams
Key Point 멀티 에이전트 시스템에서 실제로 성능을 올린 스킬을 정확히 찾아내는 것이 학습 효율을 크게 좌우하기 때문에, 기존 방법의 신용 할당 문제를 해결하는 GRSE의 접근이 의미 있다.
핵심 요약
협력하는 언어 모델 에이전트는 재사용 가능한 스킬을 수정해 가중치 업데이트 없이 개선할 수 있으나, 공유 팀 보상을 책임 있는 에이전트와 스킬로 추적해야만 한다. 기존 방법은 각 실행 경로에 나타난 스킬을 신용 할당하지만, 나타남이 책임은 아니므로: 성공한 실행에서 활성화된 해로운 스킬도 긍정적 신용을 받는다. GRSE(Group-Relative Skill Evolution)는 비교를 통해 행동 신용을 할당하며, GRPO에서 영감을 받아 같은 스킬 라이브러리 하에서 각 질문을 여러 번 실행하고 실행들을 대조해 에이전트-스킬 쌍을 신용하며 실패를 구조화된 진단한다. 전체 요약 6문장 읽기 → 005 15:11 ▲ 40 · 댓글 4 AI 동료의 협업 능력 키우는 학습 환경 자동 생성 AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다. AI · 머신러닝 · CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents
Key Point AI 에이전트가 실제 업무 환경에서 도구를 조합하고 다단계로 소통하며 학습하는 방식이 어떻게 체계화되는지 보여주며, 구체적 성능 향상 수치로 실용 가치를 입증한다.
핵심 요약
AI 동료는 도구 조합, 순차적 소통, 변화하는 작업 공간 상태 대응을 동시에 해야 하며 이를 위한 체계적인 학습이 필요하다. CoworkEnv는 이런 AI 동료를 위한 실행 가능한 학습 환경을 자동으로 생성하는 프레임워크다. 업무 요구사항이 작업 구성을 가이드하고, 프로그램 검증과 피드백 기반 수정으로 사양과 채점 방식을 자동 생성한다. 전체 요약 7문장 읽기 → 006 12:11 ▲ 26 · 댓글 2 에이전트를 엣지에서 실행하되 필요할 때만 클라우드 LLM 호출 장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다. AI · 머신러닝 · EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
Key Point 장기 에이전트 작업의 추론 비용을 62%까지 줄이면서도 성능을 유지하는 방식은 엣지 배포에서 LLM 활용의 경제성을 크게 바꿀 수 있다.
핵심 요약
장기 작업을 수행하는 AI 에이전트는 보통 클라우드의 고성능 LLM을 매 스텝마다 사용하는데, 이는 높은 추론 비용을 초래한다. 연구팀이 발견한 핵심은 모든 스텝이 강력한 모델을 필요로 하지 않으며, 중요한 일부 스텝에만 LLM을 할당해도 전체 성능과 비슷한 결과를 낼 수 있다는 것이다. EdgeWise는 로컬 디바이스에 작은 언어모델(SLM)을 배포하고, 강력한 능력이 필요한 중요한 스텝만 선택적으로 클라우드 LLM으로 위임하는 엣지-클라우드 협력 프레임워크다. 전체 요약 7문장 읽기 → 007 15:11 ▲ 243 · 댓글 4 DiffusionART, 확산 모델 강화학습을 12배 빠르게 온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다. AI · 머신러닝 · DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
Key Point 확산 모델 강화학습의 GPU 학습 시간을 10배 이상 단축하면서 보상 성과는 더 높이는 기술로, 이미지 및 비디오 생성 모델 최적화의 실무 효율성을 크게 개선한다.
핵심 요약
온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다. NFT 스타일 목적함수가 숨겨진 순방향-역방향 일관성 강제를 포함하고 있으며, 양성-음성 결합 학습이 이를 부분적으로만 상쇄하고, EMA는 비정책 롤아웃이 아닌 복원을 통해 학습을 안정화한다는 원리를 발견했다. DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)는 각 프롬프트의 보상을 역방향 프로세스 상태를 위한 공유 보상 개선 방향으로 집계해 일관성 강제를 구조적으로 제거한다. 전체 요약 7문장 읽기 → 008 18:30 ▲ 15 · 댓글 2 실패한 추론에만 교사 신호 적용, 코드·수학 성능 향상 온-폴리시 증류(OPD)는 대형 언어모델의 학생 모델이 자신이 생성한 결과로 학습하는 방식으로 널리 쓰이지만, 토큰 수준의 국소적 최적화만 하고 전체 추론의 질을 고려하지 않습니다. AI · 머신러닝 · DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
Key Point 기존 증류와 강화학습의 한계를 동시에 해결하는 방법으로, 작은 언어모델(0.6B~1.7B)의 코딩·수학 추론 성능을 실질적으로 향상시키는 기법입니다.
핵심 요약
온-폴리시 증류(OPD)는 대형 언어모델의 학생 모델이 자신이 생성한 결과로 학습하는 방식으로 널리 쓰이지만, 토큰 수준의 국소적 최적화만 하고 전체 추론의 질을 고려하지 않습니다. 보상 기반 강화학습(RLVR, 특히 GRPO)은 전체 결과 수준의 지도를 제공하지만 희소 보상으로 인해 신용 할당이 입자합니다. 연구진은 두 방식의 한계를 분석했습니다: OPD는 밀집된 국소 신호를 주지만 정답률과 약하게 연관되고, GRPO는 작업 성공을 포착하되 토큰별 신용 할당이 정교하지 못합니다. 전체 요약 9문장 읽기 → 009 18:30 ▲ 37 · 댓글 1 LLM 추론 안정성 높이는 새 학습 기법 제안 대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다. AI · 머신러닝 · Semifactual Credit-Augmented Policy Optimization
Key Point 토큰 수준의 미세한 신용 할당으로 LLM 추론 정확도를 5~6% 개선하는 새로운 학습 기법으로, 프롬프트 표현에 과민한 모델의 근본적 문제를 다룬다.
핵심 요약
대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다. 연구팀은 답을 유지하면서 프롬프트만 변경하는 반사실적 개입으로 이를 분석했고, 토큰 수준에서 큰 민감도 편차가 있으며 불안정한 토큰을 디코딩 중에 억제하면 모델 가중치를 업데이트하지 않아도 추론 정확도가 높아짐을 발견했다. 기존의 그룹상대정책최적화(GRPO)는 모든 응답 토큰에 동일한 이점을 할당하여 추론과 무관한 특성 의존성까지 강화할 수 있다는 한계가 있다. 전체 요약 7문장 읽기 → 010 18:33 ▲ 22 · 댓글 2 오디오-비주얼 추론 벤치마크와 학습법 제시한 OmniReasoning 논문 최근 음성·시각·언어를 통합으로 이해하는 옴니모달 모델들이 발전했으나, 기존 벤치마크와 학습 방식은 각 모달리티를 독립적으로 다루며 오디오-비주얼 결합 추론 능력을 제대로 평가하지 못하는 문제를 지적했다. AI · 머신러닝 · OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
Key Point 오디오와 비주얼 정보를 함께 활용해야 하는 멀티모달 추론이 현실 문제 해결에 중요해지는 만큼, 이를 측정하는 기준과 학습 방식이 필요한 시점에 제시된 실질적인 해결책이다.
핵심 요약
최근 음성·시각·언어를 통합으로 이해하는 옴니모달 모델들이 발전했으나, 기존 벤치마크와 학습 방식은 각 모달리티를 독립적으로 다루며 오디오-비주얼 결합 추론 능력을 제대로 평가하지 못하는 문제를 지적했다. 이를 해결하기 위해 벤치마크, 데이터 생성 엔진, 학습 방법을 함께 제시했다. OmniReasoningBench는 오디오와 비주얼 증거가 모두 필수적인 1,150개 객관식·개방형 문제로 구성되며, 비디오 추론과 비디오 외 추론 두 가지 과제를 포함한다. 전체 요약 7문장 읽기 → 011 06:11 ▲ 19 · 댓글 2 에이전트 학습의 전체 시스템 개선, WEFT 프레임워크 제시 도구 사용 능력을 갖춘 AI 에이전트 학습을 위한 WEFT 프레임워크를 제안했다. AI · 머신러닝 · WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents
Key Point 환경 확장만으로는 부족하다는 기존 접근의 한계를 지적하고, 에이전트 시스템 전체를 함께 개선하는 방식이 성능 향상에 실질적 영향을 미친다는 점을 실증한다.
핵심 요약
도구 사용 능력을 갖춘 AI 에이전트 학습을 위한 WEFT 프레임워크를 제안했다. 기존 방식은 환경만 확장했지만, WEFT는 환경·태스크·상호작용 다양성을 함께 키운다. 실행 중 발생한 실패를 추적하고 상태 증거를 이용해 문제 컴포넌트를 자동 수정하는 자진 진화 방식을 도입했다. 전체 요약 7문장 읽기 → 012 18:11 ▲ 37 · 댓글 3 통합 모델이 자기 생성물을 스스로 고치는 방법 찾았다 이미지를 보고 만들 수 있는 통합 멀티모달 모델에서, 생성된 이미지의 문제를 진단하고 수정하는 과정을 자동으로 학습하는 방법을 제시했다. AI · 머신러닝 · Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
Key Point 생성형 AI 모델이 자신의 오류를 인식하고 반복적으로 수정하는 능력을 학습하는 방식이 바뀌고 있으며, 이는 이미지 생성의 품질 향상과 모델 구조의 단순화를 동시에 이룬다.
핵심 요약
이미지를 보고 만들 수 있는 통합 멀티모달 모델에서, 생성된 이미지의 문제를 진단하고 수정하는 과정을 자동으로 학습하는 방법을 제시했다. 기존 지도 학습(SFT)은 시작은 빠르지만 효과적인 수정 경로를 찾지 못했고, 렌더러나 한 부분만 최적화하는 단순한 강화학습(RL)은 잠재력을 충분히 활용하지 못했다. UMM-Reflection은 강화학습을 반사 궤적 전체에 적용하되, 같은 초기 이미지를 공유하는 자매 궤적들의 상대적 이점으로 반사 전략을 비교하고, 한 번의 궤적 단위 이점으로 반사 텍스트와 흐름 기반 수정을 함께 업데이트한다. 전체 요약 6문장 읽기 → 013 15:11 ▲ 28 · 댓글 1 불확실한 성공은 강화, 확실한 실패는 교정하는 LLM 추론 방식 LLM의 추론 능력을 강화하는 검증 가능한 보상 기반 강화학습(RLVR)에서 기존 신용 할당 방식들은 보조 모델이나 추가 샘플링, 특권 정보가 필요했다. AI · 머신러닝 · Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning
Key Point LLM이 복잡한 추론 과제를 풀 때 필요한 신용 할당에서 추가 모델 없이도 작동하는 더 효율적인 방법이 제시되어, 강화학습 기반 LLM 개선의 실용성을 높인다.
핵심 요약
LLM의 추론 능력을 강화하는 검증 가능한 보상 기반 강화학습(RLVR)에서 기존 신용 할당 방식들은 보조 모델이나 추가 샘플링, 특권 정보가 필요했다. 이 논문은 정책 엔트로피를 신호로 활용하되 성공과 실패를 비대칭으로 처리하는 Entropic Advantage Policy Optimization(EAPO)을 제안한다. EAPO의 핵심 아이디어는 불확실한 상황에서의 성공은 반복성이 낮고 확실한 실패는 되풀이되는 경향에서 비롯되었다. 전체 요약 7문장 읽기 → 014 12:11 ▲ 17 · 댓글 1 복합 질의를 위한 문서 집합 재순위화, 적응형 튜터링으로 개선 RAG와 깊이 있는 연구에서 문서 재순위화는 하류 모델이 받는 증거를 결정하는데, 기존 재순위화기는 관련성 매칭으로만 선택해 복잡한 정보 요구에 필요한 보완적·비중복 문서 집합을 구성하지 못했다. AI · 머신러닝 · AdaTutoRank: Learning to Rerank Document Sets via Adaptive Tutoring Optimization for RAG and Deep Research
Key Point 복잡한 정보 검색에서 단순한 관련성 매칭을 넘어 보완적이고 비중복적인 문서 집합을 구성해야 한다는 새로운 접근이 RAG 성능 개선에 직결된다.
핵심 요약
RAG와 깊이 있는 연구에서 문서 재순위화는 하류 모델이 받는 증거를 결정하는데, 기존 재순위화기는 관련성 매칭으로만 선택해 복잡한 정보 요구에 필요한 보완적·비중복 문서 집합을 구성하지 못했다. 기존 방식은 문서 집합을 평가할 때 하나의 스칼라 점수로 모든 문서를 동등하게 보상하므로 감독 신호가 희박해, 중복 문서도 집합이 잘 나오면 보상받고 결정적 문서도 집합이 못 나오면 페널티를 받아 신용 할당이 불명확했다. AdaTutoRank는 적응형 튜터링 최적화(ATO) 기법으로 훈련되는 집합 단위 재순위화기로, 9개 평가 기준을 3단계 계층 구조로 조직해 콜드 스타트용 은레이블·강화학습용 보상·증류용 힌트를 제공한다. 전체 요약 6문장 읽기 → 015 08:27 ▲ 117 · 댓글 45 뇌처럼 학습하는 신경망, 역전파 대체 기술 등장 PC-ALM이라는 신경망 학습 기법을 소개하는 논문으로, 역전파를 대체하는 국소적 동역학계 방식을 사용합니다. AI · 머신러닝 · Backprop Alternative: Augmented Lagrangian Predictive Coding
Key Point 뇌의 신용 할당 문제라는 오랜 신경과학 미스터리를 푸는 가능성을 제시하며, 동시에 에지 디바이스의 에너지 효율 문제를 해결할 기술 경로를 보여줍니다.
핵심 요약
PC-ALM이라는 신경망 학습 기법을 소개하는 논문으로, 역전파를 대체하는 국소적 동역학계 방식을 사용합니다. 각 계층에 피드백 제어 시스템을 갖춰 층간 국소 통신만으로 신용 할당 문제를 해결하며, 1000층까지 학습 가능합니다. 표준 역전파는 순전파→역전파→가중치 업데이트가 엄격한 순서로 진행되는데, 뇌는 이런 시간 동기화 메커니즘이 없어 역전파를 구현할 수 없다는 신경과학 문제에서 출발했습니다. 전체 요약 5문장 읽기 →