코딩 에이전트가 실패를 미리 감지하고 중단하는 StopLoss

핵심 요약

• 코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다.
• StopLoss는 완료된 궤적(trajectory)과 검증자 결과로부터 실패를 인식하도록 학습한 소규모 외부 모니터이다.
• 미세조정된 언어모델이 최근 도구 단계들을 한 번의 포워드 패스로 점수화하고, 성공 런에서 보정된 임계값이 중단 결정을 내린다.
• GPT 계열 SWE-bench 궤적으로 학습하고 SWE-bench Verified와 Pro 부분집합에서 GPT/Claude 실행기로 평가했다.
• StopLoss는 6개의 범용 판정자와 비교하여 첫 검사에서 실패 예측 정확도를 거의 무작위 수준에서 유용한 신호로 올렸다.
• 테스트한 모든 판정자 대비 1~2개 자릿수 낮은 비용으로 검사할 수 있다.
• Verified에서는 성공 런의 99%를 유지하면서 비용을 4.5% 절감하고, 비용이 큰 Pro 부분집합에서는 최대 31% 절감하며 Qwen3-8B 백본으로는 48%까지 절감한다.
• 모든 4가지 설정에서 StopLoss의 비용 효율성이 모든 판정자 정책보다 낫다.