쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
5건 · "수학추론"조건 지우기 ×
001 15:11 ▲ 13 · 댓글 2 토큰마다 다른 선생님이 필요하다…다중 선생님 자가학습법 기존 온폴리시 자가학습(OPSD)은 학습 중 선생님 모델을 고정하거나 응답 단위에서만 교사를 바꿔 사용해왔다. AI · 머신러닝 · Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
Key Point 대규모 언어 모델 학습의 자가학습 효율성을 토큰 단위로 최적화하는 새로운 방식으로, 수학 추론처럼 정밀한 감독이 필요한 작업에서 유의미한 성능 향상을 달성했다.
핵심 요약
기존 온폴리시 자가학습(OPSD)은 학습 중 선생님 모델을 고정하거나 응답 단위에서만 교사를 바꿔 사용해왔다. 연구팀은 토큰별로 선생님 선호도가 달라진다고 주장하며, 다수결 투표와 KL 기반 선택을 통해 각 토큰에 맞는 선생님을 식별할 수 있음을 보였다. 이를 바탕으로 다중 선생님 풀을 구성해 학습 중 각 토큰이 선호하는 선생님을 동적으로 선택하는 MTA-OPSD(다중 선생님 적응형 온폴리시 자가학습)를 제안했다. 전체 요약 5문장 읽기 → 002 15:11 ▲ 71 · 댓글 1 PPO의 가치 함수 추적 개선, 수학 추론 성능 7~8점 향상 언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다. AI · 머신러닝 · TPPO: Tracking-Value PPO For Language Model Reasoning
Key Point 강화학습 기반 언어 모델 추론에서 가치 함수의 정확성이 직접적으로 성능을 좌우하는데, 이 방법이 표준 PPO를 크게 능가하는 수학 추론 성능 향상을 보여준다.
핵심 요약
언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다. 논문은 연속된 접두어(prefix) 값들 사이의 관계를 분석하고, 이들이 로그-오즈 공간(log-odds space)에서 덧셈 갱신으로 이루어진 베이지안 분해를 허용함을 보였다. 이 덧셈 구조를 이용해 추적-가치 PPO(TPPO)를 제안하는데, 위치별 스칼라 출력값들을 누적해 가치 로짓(value logits)을 형성하고 재구성된 값들을 통한 종료 결과 지도학습으로 학습된다. 전체 요약 6문장 읽기 → 003 00:11 ▲ 44 · 댓글 2 다중언어 수학 문제로 언어 간 능력 이전의 핵심 요인 파악 한 언어에서 습득한 모델의 능력이 다른 언어로 얼마나 이전되는지 이해하기 위해 '다중언어 GSM-Symbolic' 데이터셋을 개발했다. AI · 머신러닝 · Multilingual GSM-Symbolic: What determines capability transfer across languages?
Key Point 모델 개발자가 저자원 언어의 성능을 예측하고 개선하는 데 필요한 핵심 요소가 무엇인지 명확히 하므로, 모든 언어 조합을 평가해야 하는 부담을 줄일 수 있다.
핵심 요약
한 언어에서 습득한 모델의 능력이 다른 언어로 얼마나 이전되는지 이해하기 위해 '다중언어 GSM-Symbolic' 데이터셋을 개발했다. 15개 언어의 3만 개 문제-답안 쌍을 포함하며, 기호 템플릿을 사용해 과적합을 방지하고 단일 샘플에서 수백만 개 변형을 생성할 수 있다. 모델 크기(β=1.77), 언어 자원 수준(β=0.77), 추론 능력(β=0.67), 언어의 유형학적 거리(β=-0.25)가 주요 성능 결정 요인임을 정량화했다. 전체 요약 7문장 읽기 → 004 12:11 ▲ 43 · 댓글 1 수학 추론 모델, 동료 모델과 궤적 교환으로 성능 향상 RLVR(검증 가능한 보상 강화학습) 방식인 GRPO는 자가생성 궤적에 의존하지만 제한된 롤아웃 예산으로 인해 모두 실패한 그룹이 발생해 정책 기울기 신호를 얻지 못하는 문제가 있다. AI · 머신러닝 · Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
Key Point 이질적 모델들 사이의 상호 보완성을 활용해 동일 예산으로 수학 추론 성능을 크게 향상시키는 새로운 강화학습 방식을 제시하고 있으며, 실제 벤치마크에서 GRPO 대비 일관된 성능 개선을 입증했다.
핵심 요약
RLVR(검증 가능한 보상 강화학습) 방식인 GRPO는 자가생성 궤적에 의존하지만 제한된 롤아웃 예산으로 인해 모두 실패한 그룹이 발생해 정책 기울기 신호를 얻지 못하는 문제가 있다. 연구진은 서로 다른 모델들이 상호 보완적인 문제들에서 성공하는 패턴을 발견했으며, 이를 통해 강한 교사 모델 없이도 상호 학습이 가능함을 확인했다. 이를 바탕으로 GRAFT(Gated Replacement of Answer-Failed groups with peer Trajectories)를 제안했으며, 이는 모두 실패한 그룹을 정보량 많은 동료 그룹으로 교체하는 오프정책 인식 프레임워크다. 전체 요약 6문장 읽기 → 005 18:11 ▲ 12 · 댓글 2 교사 모델의 편차를 걸러내는 증류 기법 제안 On-policy distillation은 강한 교사 모델과 학생 모델의 토큰 수준 차이를 학습해 추론 성능을 높이지만, 이 차이에는 교사 모델 자체의 편차가 섞여 있다. AI · 머신러닝 · Calibrating Teacher--Student Discrepancy for On-Policy Distillation
Key Point 학생 모델의 추론 능력을 효율적으로 높이는 데 불필요한 학습 신호를 제거하는 방식이 기존 기법보다 더 효과적임을 보여주기 때문입니다.
핵심 요약
On-policy distillation은 강한 교사 모델과 학생 모델의 토큰 수준 차이를 학습해 추론 성능을 높이지만, 이 차이에는 교사 모델 자체의 편차가 섞여 있다. 교사 모델의 자체 편차까지 학습하면 학생 모델의 성능이 저하되는데, 특히 특권 정보를 활용하는 경우 이 문제가 더 심해진다. 연구팀은 Cal-OPD 기법을 제안해 긍정·부정 개입을 통해 교사의 편차 영역을 추정하고, 이를 제외한 진정한 역량 차이만 학습하도록 한다. 전체 요약 4문장 읽기 →