기존 과학 소프트웨어로 터미널 에이전트 자동 훈련

핵심 요약

• 과학·전문 영역의 터미널 에이전트 훈련에는 실행 가능한 참조 동작과 의미적 정확성을 검증할 도메인별 검증기가 필요한데, 각 작업마다 이를 수작업으로 구축해야 하는 문제가 있다.
• 연구팀이 '소프트웨어 루프 내 재구성(Software-in-the-Loop Reconstruction, SWR)'이라는 자체 지도 학습 프레임워크를 제안했다.
• 이 방법은 기존 소프트웨어 워크플로우(구조화된 입력을 출력으로 매핑하는 실행 가능한 프로그램)에서 참조 출력과 검증 대상을 추출한다.
• 각 워크플로우마다 여러 입력 설정을 실행해 공개 관찰과 숨겨진 평가로 나누고, 에이전트가 공개 입출력 예시만 보고 편집 가능한 프로그램을 작성하게 한다.
• 계층적 검증기는 도메인별 의미 비교, 구조 타당성, 지름길 방지 검사를 결합하며, 공개 피드백으로 반복 개선을 지원한다.
• 6개 도메인 46개 소프트웨어 군에서 500개 워크플로우를 구축했고, Qwen 3.8-Max가 3회 시도 중 838개 작업을 해결해 1,422개 검증된 궤적을 생성했다.
• 이를 3,000개 재구성 전용 훈련 예시로 오버샘플링해 Qwen 3.8-27B를 지도 학습 미세 조정한 결과, Terminal-Bench 2 성능이 47.94%에서 53.56%로 향상되었다.
• 토큰 수가 동일한 4가지 대조군 코퍼스 대비 4개 평가 항목 모두에서 최고 평균값을 달성했다.