강화학습으로 스스로 개선하는 초대형 모델 MiMo-V2.6 공개
원제 MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
추천 74댓글 2
Key Point
장기 시퀀스 처리와 복합 작업에서 초대형 모델이 스스로 개선되도록 하는 RL 확장 기법이 어떻게 작동하는지, 그 구체적인 구현과 한계를 다루기 때문에 모델 개선 연구자와 개발자가 참고할 수 있다.
핵심 요약
- Hugging Face와 협력 연구팀이 강화학습(RL) 규모를 확대하여 초대형 기초 모델의 자기 개선을 가능하게 하는 MiMo-V2.6 시리즈를 발표했다.
- RL 훈련 전에 다양한 멀티모달 데이터를 이용해 중간 학습을 수행하고, 하이브리드 SWA 구조의 사전학습 모델을 기반으로 확장 가능한 인프라를 구축했다.
- RL 계산을 세 가지 방향으로 확장했다: (1) 비동기 훈련으로 스텝당 1,568개 샘플과 2.7~3.7B 토큰 처리, 최대 1M 길이 컨텍스트 지원, (2) 코드·일반·시각·사이버 도메인을 포함한 다양한 환경과 에이전트 구성, (3) 그룹별 에이전트 채점으로 장기 작업의 정확한 보상 신호와 토큰 효율성 개선.
- 대규모 훈련 안정성을 위해 MoE 라우터를 고정하고 보상 해킹 방지를 위한 다층 방어 체계를 구축했다.
- 혼합 작업 에이전트 RL을 위한 인프라를 개발했다: 통합 궤적 표현, 고동시성 멀티프레임워크 롤아웃, 제어와 데이터 평면 분리, 훈련-추론 일관성 보장.
- 훈련 동역학, RL 환경, RL 프레임워크 등을 오픈소스로 공개하여 규모 있는 강화학습과 모델 자기 개선 연구의 재현과 확대를 촉진한다.