반복 자기 증류 중 성능 붕괴 막는 ReSAIL 논문 발표
원제 ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation
추천 32댓글 2
Key Point
LLM 에이전트의 지속적인 자기 개선이 현실적으로 작동하려면 반복 순환 간 성능 저하를 반드시 해결해야 하는데, ReSAIL이 이를 첫 번째로 효과적으로 해결한 접근 방식을 제시하기 때문이다.
핵심 요약
- LLM 에이전트의 반복 자기 증류를 통한 재귀적 자기 개선은 순환이 거듭날수록 배포 성능과 특권 정보(PI) 조건부 성능이 붕괴되는 문제가 있다.
- ReSAIL(Retentive and Selective Augmentation for Iterative Self-Distillation)은 이 붕괴를 해결하기 위해 특권 정보가 교사 모델의 예측을 크게 변화시키는 상호작용 단계를 선별하는 플러그인 증강 기법이다.
- 선별된 단계와 미선별 단계 모두에서 학생 모델의 PI 조건부 출력 분포를 고정 교사 모델로 정규화하여 다음 순환에서 감독용 PI 조건부 행동을 보존한다.
- ALFWorld와 TextCraft에서 ReSAIL은 3순환에 걸쳐 모든 모델 규모에서 지속적인 성능 향상을 유지했으며, 자기 증류 기준선에 추가했을 때 최종 순환 성공률이 평균 22.5% 절대값 증가했다.
- 멀티모달 GUI 에이전트 평가인 AITZ에서 민감도 기반 오프라인 데이터 선택이 행동 예측 정확도도 개선했다.
- 이 연구는 반복 에이전트 자기 증류에서 견고한 학습 메커니즘이 배포 궤적 전체에서 성능 붕괴를 완화할 수 있음을 최초로 입증했다.