1,200개 과제로 Qwen 미세조정, 터미널 벤치 성능 2배 향상
원제 DaisyRose-27B: 1,200-task RL took Qwen3.8 from 5.6% to 12% on Terminal-Bench 4.1
116 포인트댓글 32

Key Point
장기 추론 작업을 위한 에이전트 모델을 효율적으로 훈련하는 새로운 패턴을 보여주며, 고비용의 RL 훈련을 제한된 리소스로 수행 가능하게 한 기술적 차별성이 있다.
핵심 요약
- RadixArk가 Qwen3.8-27B 기반의 DaisyRose-27B 모델을 공개했으며, 1,200개의 정교하게 선별된 과제로 강화학습 훈련을 진행했다.
- Terminal-Bench 4.1에서 기존 모델의 5.6%에서 12.0%로 성능이 향상되었으며, 추론·명령 따르기·코딩 벤치마크에서도 개선되었다.
- 훈련 과제는 모델의 취약점을 의도적으로 노출하고, 100개 이상의 도구 호출과 256k 토큰 이상의 출력을 포함하는 장기적인 연쇄 작업으로 설계되었다.
- RadixArk의 Miles RL 프레임워크를 사용한 비동기 훈련으로, 128개 GPU는 에이전트 추론을, 16개 GPU는 모델 학습을 동시에 수행했다.
- 자체 개발한 훈련 백엔드의 GPU 활용률은 37%로, Megatron 기반 오픈소스 훈련기의 16% 대비 GPU 시간 57% 절감을 달성했다.
- 에이전트 작업 시간을 포함하면 훈련 속도는 초당 16,800 토큰으로 오픈소스 훈련기의 8,300 토큰의 2배 수준이다.
- 9주간 144개 H200 GPU에서 총 63,000 GPU 시간 훈련 중 샌드박스 성공률은 99%에서 99.95%로 유지되었다.
- AgentENV 기반의 자체 샌드박스 서비스를 사용해 클라우드 제공자 대비 비용을 80% 절감했으며, 동적 메모리 할당으로 한 머신에서 다수의 샌드박스를 동시 실행했다.
- BF16, FP8, NVFP4 체크포인트가 Hugging Face에서 공개되었으며, Miles 오픈소스 RL 프레임워크로도 훈련할 수 있다.