Hacker NewsAI · 머신러닝

1,200개 과제로 Qwen 미세조정, 터미널 벤치 성능 2배 향상

원제 DaisyRose-27B: 1,200-task RL took Qwen3.8 from 5.6% to 12% on Terminal-Bench 4.1

116 포인트댓글 32
Key Point

장기 추론 작업을 위한 에이전트 모델을 효율적으로 훈련하는 새로운 패턴을 보여주며, 고비용의 RL 훈련을 제한된 리소스로 수행 가능하게 한 기술적 차별성이 있다.

핵심 요약

  • RadixArk가 Qwen3.8-27B 기반의 DaisyRose-27B 모델을 공개했으며, 1,200개의 정교하게 선별된 과제로 강화학습 훈련을 진행했다.
  • Terminal-Bench 4.1에서 기존 모델의 5.6%에서 12.0%로 성능이 향상되었으며, 추론·명령 따르기·코딩 벤치마크에서도 개선되었다.
  • 훈련 과제는 모델의 취약점을 의도적으로 노출하고, 100개 이상의 도구 호출과 256k 토큰 이상의 출력을 포함하는 장기적인 연쇄 작업으로 설계되었다.
  • RadixArk의 Miles RL 프레임워크를 사용한 비동기 훈련으로, 128개 GPU는 에이전트 추론을, 16개 GPU는 모델 학습을 동시에 수행했다.
  • 자체 개발한 훈련 백엔드의 GPU 활용률은 37%로, Megatron 기반 오픈소스 훈련기의 16% 대비 GPU 시간 57% 절감을 달성했다.
  • 에이전트 작업 시간을 포함하면 훈련 속도는 초당 16,800 토큰으로 오픈소스 훈련기의 8,300 토큰의 2배 수준이다.
  • 9주간 144개 H200 GPU에서 총 63,000 GPU 시간 훈련 중 샌드박스 성공률은 99%에서 99.95%로 유지되었다.
  • AgentENV 기반의 자체 샌드박스 서비스를 사용해 클라우드 제공자 대비 비용을 80% 절감했으며, 동적 메모리 할당으로 한 머신에서 다수의 샌드박스를 동시 실행했다.
  • BF16, FP8, NVFP4 체크포인트가 Hugging Face에서 공개되었으며, Miles 오픈소스 RL 프레임워크로도 훈련할 수 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗