LLM 에이전트가 실행 중 스스로 학습하는 ASCENT 기법
원제 ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience
추천 17댓글 2
Key Point
LLM 에이전트의 연속 배포 중에 외부 재학습 없이 자동으로 개선될 수 있는 방법을 제시하며, 실제 운영 환경에서의 지속적 성능 향상 경로를 열어준다.
핵심 요약
- LLM 에이전트가 배포 후 자신의 실행 궤적에서 학습하는 온라인 테스트타임 학습(OaTTT) 연구를 제시한다.
- 각 작업을 한 번에 실행하고 검증 결과가 나오면, 그것만을 학습 신호로 삼아 가중치를 업데이트한다.
- 생성된 토큰을 직접 모방하거나 강화학습하면 정책이 불안정해지는 문제를 발견했다.
- ASCENT는 자기증류(self-distillation)로 검증된 경험을 활용한다: 동결된 초기 LLM이 성공한 궤적을 특권적 정보로 받아 다음 토큰 분포를 예측하고, 그것을 LoRA 빠른 가중치로 증류하여 후속 작업에 적용한다.
- 외부 참조 해답이나 더 강한 교사 모델 없이 검증된 경험만으로 학습한다.
- 잘못된 행동 턴을 제거해 더 효율적인 경험을 증류한다.
- ALFWorld, WebShop, AppWorld 환경에서 다양한 모델 규모로 실험한 결과, 경험이 쌓일수록 작업 성공률과 상호작용 효율이 증가했다.
- 온라인 적응 방법들을 능가했고, 미보이 장면으로도 전이되어 별도의 학습 단계나 메모리 검색 없이 검증된 경험을 가중치에 통합할 수 있음을 보였다.