소규모 언어 모델 에이전트, 장기 추론에서 목표 달성 못하는 문제 해결

핵심 요약

• LLM 기반 에이전트는 추론과 복잡한 과제 해결에 우수하지만 토큰 소비와 추론 지연 때문에 실제 배포가 어렵다.
• 최근 연구들은 감독 학습 기반 증류(supervised fine-tuning-based distillation)로 대규모 모델의 에이전트 능력을 소규모 언어 모델(SLM)로 전이하고 있다.
• 하지만 상호작용 궤적이 길어지면서 추론-행동 체인과 환경 피드백이 쌓이면, 증류된 학생 에이전트는 '진행 정체'를 경험한다: 실패한 전략에 갇혀 의미 있는 진전을 못 한다.
• 이 현상은 다양한 SLM과 작업 영역에서 일관되게 발생한다.
• 연구팀은 Progress-Aware Distillation(ProD)을 제안했다: 학생이 생성한 궤적에서 정체를 명시적으로 감지하고 페널티를 준다.
• ProD는 학생과 교사 간 정체 격차를 인코딩해 동적 마진을 만들고, 잠재적 정체에 대해 적응적으로 페널티를 준다.
• 반복 적용을 통해 학생 에이전트가 교사 행동에 점진적으로 접근할 수 있다.
• 0.6B에서 8B 파라미터 범위의 8개 SLM으로 도메인 내·외 벤치마크에서 실험한 결과, ProD는 정체를 상당히 완화하고 성공률과 작업 완료 효율을 모두 향상시켰다.