토큰 대신 행동 기준으로 언어모델 에이전트 증류하기

핵심 요약

• 언어모델 에이전트를 작은 모델로 증류할 때, 기존 토큰 수준 감시학습은 상태 분포 불일치를 겪고 토큰 확률·호환 토크나이저 접근이 필요하다.
• 연구팀은 의미 있는 행동(semantic actions)을 증류 감시 신호로 사용하는 ActionOPD(행동 수준 온폴리시 증류) 방법을 제안했다.
• ActionOPD는 학생 모델이 마주친 각 상태에서 학생과 블랙박스 교사 모델에서 모두 행동을 샘플링하고, 학생 행동의 의미적 일치도에 따라 보상을 준다.
• 교사의 추론 재현이나 토큰 확률 접근 없이 정책 최적화를 통해 학생 모델의 행동을 교사와 정렬시킨다.
• Qwen3-4B와 Qwen3-8B를 다양한 도구 사용 작업으로 훈련했을 때, 배포 외 벤치마크 4개에서 평균 3.3~6.9%p 향상을 얻었다.
• ActionOPD는 학생 크기와 교사 능력에 따라 확장성이 좋으며, 교사와 학생이 같은 모델 계열이나 토크나이저를 공유할 필요가 없다.
• τ^2-bench에서는 오프라인 증류, 토큰 수준 OPD와 경쟁력 있는 성능을 달성했으며, Self-ActionOPD(같은 모델의 교사 사용)도 추가로 탐색했다.