언어 모델 에이전트를 위한 숨은 표현 자기증류 기법 제안
원제 PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
추천 30댓글 2
Key Point
강화학습 기반 에이전트 훈련에서 은닉 상태 정렬이라는 새로운 자기증류 방식으로 기존 방법보다 상당히 높은 성능 개선을 이루었으며, 외부 자원 없이 단순한 구조로 실용적이다.
핵심 요약
- 언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다.
- 연구팀은 스킬이 응답 토큰의 80% 이상에서 은닉 상태를 변화시키며, 이 변화를 선형 프로브로 추적할 수 있다는 점을 발견했다.
- 이를 바탕으로 PR-OPD(Privileged Representation On-policy Self-Distillation) 방법을 제안하며, GRPO 사전학습 후 정책이 각 궤적에 대해 후지학적 스킬을 작성한다.
- 정책은 자신의 응답을 스킬을 가진 상태로 재읽기하면서 고정된 교사로 사용하고, 모든 계층에서 은닉 상태를 교사의 상태에 맞춰 정렬한다.
- 외부 스킬 라이브러리나 별도의 교사 모델, 추론 오버헤드가 필요하지 않다.
- ALFWorld와 WebShop 벤치마크에서 두 가지 백본 모두에 대해 GRPO 대비 ALFWorld 성공률은 최대 4.7포인트, WebShop 정확도는 14.0포인트 향상되었으며 모든 설정에서 최고 성능을 달성했다.