320B 파라미터 에이전트 모델 IQuest-Q1 공개
원제 IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
추천 97댓글 2
Key Point
희소 MoE 구조로 320B 파라미터의 15%만 활성화하면서도 복잡한 다단계 학습 파이프라인을 통해 에이전트 능력을 강화한 방식이 새로운 표준이 될 수 있기 때문입니다.
핵심 요약
- IQuest-Q1은 Mixture-of-Experts 구조로 설계된 에이전트 파운데이션 모델로, 총 320B 파라미터 중 15B만 활성화되는 희소 모델입니다.
- 3단계 학습 과정으로 개발되었습니다: 첫 번째는 Stable SplitNorm, Muon, muP를 결합한 안정적 사전학습으로, 두 번째 단계에서 코딩 데이터 비중을 높여 안전한 학습률 마진을 확보합니다.
- 두 번째 단계는 도메인과 포맷 전반에 걸쳐 데이터 혼합을 확장하고 컨텍스트를 점진적으로 늘리는 세부 중기 학습입니다.
- 세 번째 단계는 여러 스캐폴드에서 SFT, 도메인 특화 강화학습, MOPD를 결합한 다중 버전 사후학습으로, 상호 보완적 신호를 통합하고 에이전트 코딩 능력을 강화합니다.
- 모델 머징 기법으로 다양한 단계의 전문가와 체크포인트를 결합하면서 파라미터 업데이트 간 충돌을 완화합니다.
- IQuest-Q1은 코딩 작업과 범용 작업 모두에서 능력을 입증하며, 오픈소스로 공개되어 커뮤니티 연구와 개발을 지원합니다.