장시간 프로그램 작성을 학습하는 AI 에이전트 프레임워크 공개
원제 ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
추천 49댓글 2
Key Point
프로그램을 처음부터 작성하는 에이전트 개발에 필수적인 대규모 검증 환경과 실용적인 워크플로우를 처음 공개하는 것으로, AI 코딩 보조 도구의 자율성 수준을 한 단계 높이는 사례를 보여준다.
핵심 요약
- 코딩 에이전트가 처음부터 완전한 프로그램을 작성하도록 학습할 수 있는 체계가 부족한 상황에서, 연구팀이 ProgramGym 프레임워크를 공개했다.
- Program-Env는 저장소에서 검증 가능한 학습 환경을 자동으로 구성하며, 샌드박스 실행 오류를 수정하고 테스트 품질을 개선하는 피드백 루프를 활용한다.
- 이 파이프라인으로 C, C++, Go, Rust 프로그래밍 언어를 포함한 1,648개의 학습 환경을 확보했다.
- Program-Agent는 분석·구현·검토 역할을 분리하고 컴파일 검사와 실패 복구를 위한 버전 관리를 결합한 워크플로우를 제공한다.
- Qwen 3.8-27B를 이 환경에서 미세조정한 결과 성능이 34.87%에서 42.84%로 향상되었고, Program-Agent 적용 시 기본 모델과 SFT 모델 모두 55% 이상의 성능에 도달했다.
- 이는 일부 대규모 언어모델을 능가하는 수준으로, 연구팀은 향후 코딩 에이전트 연구 지원을 위해 프레임워크를 공개할 예정이다.