쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 22일 (일)까지5067건
4건 · "정책최적화"조건 지우기 ×
001▲ 155 · 댓글 2한 손 조작 넘어 양손 협력까지, 범용 로봇 제어 모델 DONIC기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다.AI · 머신러닝 · DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

Key Point로봇이 두 손을 동시에 협력시켜 복잡한 조작 작업을 할 수 있도록 하는 첫 범용 모델로, 인간의 시연 영상만으로 학습할 수 있다는 점이 실용적 의미를 갖는다.
핵심 요약
- 기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다.
- 연구팀은 첫 범용 양손 추적기 DONIC과 229개 물체를 포함한 1,575개 시퀀스의 양손 상호작용 데이터셋 BiHOI를 공개했다.
- DONIC은 근처정책최적화(PPO)와 행동복제를 결합하고, 성공한 실행을 재훈련 데이터로 재활용하는 피드백 루프를 사용한다.
전체 요약 6문장 읽기 → 002▲ 13 · 댓글 2개방형 RL 학습 과정을 자동으로 조정하는 HarnessRL 제안자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다.AI · 머신러닝 · HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL

Key Point개방형 과제를 통해 AI 모델을 훈련할 때 보상 신호의 붕괴와 오류를 자동으로 탐지하고 수정하는 메커니즘이 필요한 상황에서, 훈련 과정 자체를 동적으로 조정하는 접근이 효율성을 크게 개선할 수 있음을 보여준다.
핵심 요약
- 자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다.
- 점수가 균일하게 낮거나 높게 붕괴되는 비차별적 보상과 높은 점수가 실제 답변 품질과 맞지 않는 허위 보상이라는 두 가지 실패 양식이 존재한다.
- 이는 정책이 진화하면서도 작업 샘플링, 탐색, 평가 설정이 고정되어 있기 때문이다.
전체 요약 8문장 읽기 → 003▲ 37 · 댓글 1LLM 추론 안정성 높이는 새 학습 기법 제안대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다.AI · 머신러닝 · Semifactual Credit-Augmented Policy Optimization

Key Point토큰 수준의 미세한 신용 할당으로 LLM 추론 정확도를 5~6% 개선하는 새로운 학습 기법으로, 프롬프트 표현에 과민한 모델의 근본적 문제를 다룬다.
핵심 요약
- 대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다.
- 연구팀은 답을 유지하면서 프롬프트만 변경하는 반사실적 개입으로 이를 분석했고, 토큰 수준에서 큰 민감도 편차가 있으며 불안정한 토큰을 디코딩 중에 억제하면 모델 가중치를 업데이트하지 않아도 추론 정확도가 높아짐을 발견했다.
- 기존의 그룹상대정책최적화(GRPO)는 모든 응답 토큰에 동일한 이점을 할당하여 추론과 무관한 특성 의존성까지 강화할 수 있다는 한계가 있다.
전체 요약 7문장 읽기 → 004▲ 29 · 댓글 2다중 보상 학습 최적화하는 CorrGRPO 알고리즘Group Relative Policy Optimization(GRPO)은 추론 언어 모델 학습에 널리 쓰이며, 동일 프롬프트 롤아웃에서 보상을 중심화·정규화해 이점을 계산한다.AI · 머신러닝 · CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning

Key Point여러 목표를 동시에 최적화해야 하는 언어 모델 학습에서 각 보상의 영향력을 균형 있게 조절하는 새로운 방법을 제시하므로, 추론 모델과 에이전트 개발자에게 실질적인 개선 기회를 제공한다.
핵심 요약
- Group Relative Policy Optimization(GRPO)은 추론 언어 모델 학습에 널리 쓰이며, 동일 프롬프트 롤아웃에서 보상을 중심화·정규화해 이점을 계산한다.
- 다중 보상 처리 시 기존 GRPO는 보상 성분을 합산한 뒤 그룹 내 표준편차로 정규화하는데, 분산이 모든 보상 공분산의 합이 된다.
- 중심화된 보상이 고정될 때 공분산이 클수록 이점이 작아지므로, 보상 간 상관성에 따라 업데이트 크기가 적응하지만 대규모 보상이 정규화를 지배해 소규모 보상 신호를 억제한다.
전체 요약 8문장 읽기 →