쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
5건 · "신용할당"조건 지우기 ×
001▲ 382 · 댓글 4LLM 에이전트 강화학습, 턴 단위 신용할당으로 최적화장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다.AI · 머신러닝 · Multiscale Policy Optimization for Long-Horizon LLM Agents

Key PointLLM 에이전트의 장시간 작업에서 어디에 책임을 할당할지 판단하는 방식을 개선함으로써, 복잡한 추론 작업에서 강화학습 효율을 높일 수 있기 때문이다.
핵심 요약
- 장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다.
- 현재 방식에서 비평가(critic) 값이 주로 턴(turn) 간에 변화하는 것을 발견했다.
- 이에 따라 턴 단위에서 최적화하면서 토큰 간 신용할당을 세밀하게 조정할 필요가 있다.
전체 요약 7문장 읽기 → 002▲ 26 · 댓글 2LLM 에이전트 강화학습의 신용 할당 문제 해결한 ProAS 프레임워크LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다.AI · 머신러닝 · ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning

Key Point다단계 추론이 필요한 LLM 에이전트의 강화학습 효율성을 크게 개선하는 방법론이 제시되어, 언어 모델 기반 자동화 시스템의 성능 향상에 직결된다.
핵심 요약
- LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다.
- 이 접근 방식은 선호되는 궤적에서 구조적으로 비합리적인 행동을 강화하고, 비선호 궤적에서 각 행동의 하위 편차를 무시한다.
- ProAS는 동적으로 진화하는 에이전틱 레퍼런스 그래프(ARG)를 활용해 비합리적 인센티브 마스킹(MUI)과 비대칭 페널티 재배분(APR)을 통한 세밀한 신용 할당을 구현한다.
전체 요약 5문장 읽기 → 003▲ 34 · 댓글 3장기 추론 에이전트를 위한 나무 구조 기반 정책 자기 증류법강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다.AI · 머신러닝 · Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning

Key Point장기 수평선 에이전트 학습 시 정책 편차와 신용할당 문제를 동시에 해결하는 새로운 방식이 기존 GRPO보다 실제 성과를 개선했기 때문입니다.
핵심 요약
- 강화학습 후 훈련에서 장기 상호작용을 학습할 때 터미널 보상만으로는 각 턴의 신용할당이 희소하고 고분산이 되는 문제가 있다.
- 기존 방식은 학습된 비평가, 과정 보상 모델, 온정책 증류 등으로 더 조밀한 신용을 얻지만 가치 네트워크나 강한 외부 교사가 필요해 훈련 복잡도가 높다.
- TreeOPSD는 비평가 없이 각 상호작용 턴을 나무 노드로 취급하고 공유 접두사에서 대안 경로를 분기하며 터미널 보상을 재귀적으로 역전파해 암묵적 턴 수준 신용을 생성한다.
전체 요약 6문장 읽기 → 004▲ 37 · 댓글 1LLM 추론 안정성 높이는 새 학습 기법 제안대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다.AI · 머신러닝 · Semifactual Credit-Augmented Policy Optimization

Key Point토큰 수준의 미세한 신용 할당으로 LLM 추론 정확도를 5~6% 개선하는 새로운 학습 기법으로, 프롬프트 표현에 과민한 모델의 근본적 문제를 다룬다.
핵심 요약
- 대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다.
- 연구팀은 답을 유지하면서 프롬프트만 변경하는 반사실적 개입으로 이를 분석했고, 토큰 수준에서 큰 민감도 편차가 있으며 불안정한 토큰을 디코딩 중에 억제하면 모델 가중치를 업데이트하지 않아도 추론 정확도가 높아짐을 발견했다.
- 기존의 그룹상대정책최적화(GRPO)는 모든 응답 토큰에 동일한 이점을 할당하여 추론과 무관한 특성 의존성까지 강화할 수 있다는 한계가 있다.
전체 요약 7문장 읽기 → 005▲ 16 · 댓글 3토큰 단위 신용할당 원리로 LLM 강화학습 개선강화학습 기반 LLM 후처리 훈련에서 토큰 단위 신용할당(credit assignment)의 수학적 정의가 명확하지 않아, 기존 훈련 신호들과의 관계가 불분명했다.AI · 머신러닝 · PACT: From Credit Assignment to Critic Alignment

Key Point토큰 단위 신용할당의 수학적 정의를 처음 엄밀하게 규정하고, 이를 바탕으로 LLM 강화학습의 핵심 알고리즘들을 통일된 틀에서 설명하며, 실제 수학·소프트웨어 문제에서 기존 방법들을 크게 능가하는 구체적 성과를 냈다.
핵심 요약
- 강화학습 기반 LLM 후처리 훈련에서 토큰 단위 신용할당(credit assignment)의 수학적 정의가 명확하지 않아, 기존 훈련 신호들과의 관계가 불분명했다.
- Completeness, Prefix Consistency, Neutrality 세 가지 정칙성 조건을 제시하면 토큰 단위 신용할당이 유일하게 결정됨을 증명했다.
- 이 특성화를 통해 On-Policy Distillation(OPD)의 이상적 교사가 암묵적 비평가 역할을 하며, Response-level REINFORCE Leave-One-Out(RLOO)이 토큰 단위 신용할당과 일치하는 정책 기울기를 낸다는 것을 확인했다.
전체 요약 7문장 읽기 →