다단계 작업에서 언어 모델이 실수를 예방하고 회복하는 법
원제 PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents
추천 20댓글 1
Key Point
초기 실수를 예방하면서 동시에 회복하는 훈련 방식으로, 다중 턴 작업 에이전트의 오류 누적 문제를 직접 해결하는 실용적 접근이다.
핵심 요약
- 다중 턴 에이전트 훈련에서 초기에 발생한 하나의 잘못된 행동이 이후 상태를 왜곡해 오류가 누적되는 문제를 발견했다.
- Qwen3 3개 모델(8B~235B) 실험에서 실패한 시도의 50% 이상이 '중추적 실수'(작업 완료를 더 멀게 하는 행동)를 포함하고 있으며, 이는 대부분 초기에 발생한다.
- 놀랍게도 이러한 중추적 실수 후 몇 턴의 지도만으로도 작업 성공을 복구할 수 있다.
- PivotOPD는 교사 모델이 중추적 실수 지점에서 정답 행동을 제시하고, 이후 몇 턴에서 회복 행동을 명시하는 온폴리시 증류 프레임워크다.
- 방지 증류(역 KL)는 학생 모델을 중추적 실수에서 멀어지게 하고, 회복 증류(정방향 KL)는 학생이 거의 시도하지 않는 회복 행동을 전달한다.
- ALFWorld, WebShop, 검색 기반 QA 13개 기준선 대비 Qwen3-1.7B와 1.8B 학생 모델에서 최고 성능을 기록했으며, ALFWorld에서 1.7B 모델 기준 +5.5% 향상을 달성했다.
- 다른 모델군(Nemotron-3.5)의 소프트웨어 엔지니어링 도메인에서도 SWE-Bench Verified 해결률 +3.2% 개선으로 효과가 확인되었다.