소스코드만으로 강화학습 환경 자동 구축하는 CodeMidas
원제 CodeMidas: Scaling Agentic Coding RL Environments from Code Itself
추천 103댓글 3
Key Point
소스코드 자체만으로 대규모 RL 환경을 자동 구축해 코딩 에이전트 훈련의 확장성 문제를 해결했으며, 실제 벤치마크에서 10~17%의 성능 향상을 달성했기 때문이다.
핵심 요약
- CodeMidas는 오픈소스 저장소의 소스코드만을 이용해 5,545개 강화학습 환경을 자동 구축했다.
- 에이전트가 코드베이스의 기능을 탐색하여 명세를 작성하고, 실행 기반 테스트를 생성한 뒤 검증하는 3단계 파이프라인을 거친다.
- 23개 프로그래밍 언어와 15개 기술 도메인의 3,185개 코드베이스에서 수집되었다.
- GRPO로 학습한 MiMo-V2.5는 버그 수정(DeepSWE +11.7%), 전체 프로그램 작성(ProgramBench +17%), 터미널 작업(+8.5%) 등 5개 벤치마크에서 모두 성능을 향상시켰다.
- 고품질 학습 데이터가 많을수록 성능이 개선되며, RL 훈련 에이전트는 코드베이스 탐색과 자체 검증이 더 다양해진다.