Hugging Face 논문AI · 머신러닝

복잡한 작업도 자기 재작성으로 학습 데이터 확장

원제 Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

추천 85댓글 2Zongxia Li, Yucheng Shi, Zhongzhi Li 외
Key Point

다양한 도구와 환경을 활용한 경험을 일반화된 학습 데이터로 변환하는 기법으로, 복잡한 작업에서 모델 성능을 대폭 끌어올릴 수 있음을 보여준다.

핵심 요약

  • 복잡한 터미널 작업 해결을 위해 Recursive Self-Rewrite(RSR) 프레임워크를 제안했다.
  • Qwen 3.8-27B 기반 모델이 다양한 도구와 환경에서 성공한 해법을 발견하고, 일반 환경에서 재실행 가능한 학습 데이터로 재구성한다.
  • 플래너가 절차를 실행 가이드(runbook)로 추출하고, 비판자가 데이터 누수를 점검하며 반복 개선을 지도한다.
  • 약 3천 개의 자체 구성 터미널 작업에서 세 가지 도구를 함께 사용하면 759개 작업을 해결해 가장 강력한 단일 도구보다 34.3% 더 많이 성공했다.
  • 2,001개 성공 궤적을 재작성으로 11,094개 학습 데이터로 확장했으며, 이를 통해 파인튜닝한 모델은 기본 모델과 직접 학습 모두 능가한다.
  • Terminal-Bench 2에서 pass@3가 57.0%에서 74.2%로, Terminal-Bench 4에서 1.5%에서 9.1%로 증가했다.
  • 자체 구성 Terminal-Bench Hard에서 39.0%에서 63.0%로, Software Terminal-Bench에서 3.0%에서 6.0%로 상승했다.
  • 장거리 작업의 프로세스 보상(reward)은 0.21에서 0.29로 높아졌다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗