반복되는 작업을 스스로 학습하게 하는 에이전트 훈련법
원제 DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
추천 28댓글 2
Key Point
장시간 작업을 하는 AI 에이전트의 비효율을 근본적으로 줄일 수 있는 훈련 기법으로, 추가 라벨링 없이 에이전트 자신의 경험으로부터 학습하는 방식을 제시한다.
핵심 요약
- Qwen, Llama, Gemini 등의 언어모델 에이전트가 장시간 작업 중 같은 도구를 재호출해 동일한 결과를 얻는 '루프' 현상을 보이고, 컨텍스트 압축 시 더 심해진다.
- DeLoop는 이런 루프를 줄이기 위한 자기지도 학습 방법으로, 에이전트 자신의 실행 기록에서 감독 신호를 얻는다.
- 같은 작업 실행 내에서 반복된 액션을 부정 사례, 그 이후 처음 나오는 다른 액션을 긍정 사례로 삼아 직접 선호도 최적화로 학습한다.
- 작업 보상, 정답, LLM 판정자가 없어도 학습 가능하다.
- CodeGym 데이터셋 압축 조건에서 Qwen3-8B가 루프를 포함한 작업 비율을 57.3%에서 6.1%로 줄이고, 작업당 단계 수도 약 1/3 수준으로 감소시켰다.
- Qwen3-32B에서는 루프와 단계 수를 줄이면서 동시에 작업 성공률을 37.7%에서 44.8%로 올렸다.