루프 구조 언어 모델 Dory1.0-4B 공개, 작은 규모로 더 큰 모델 능력 구현
원제 Dory1.0-4B: A Looped Normalized-GPT
추천 11댓글 2
Key Point
작은 규모 모델이 루프 구조를 통해 더 큰 모델 수준의 성능을 달성할 수 있다는 것을 보여주며, 토큰 생성 효율과 메모리 사용 최적화 방식이 에지 디바이스와 추론 비용 절감에 영향을 미친다.
핵심 요약
- Hugging Face와 아카이브 논문 공개: 43억 파라미터 규모의 루프형 언어 모델 Dory1.0-4B를 발표했다.
- 정규화 Transformer 기반으로 입력 블록, 공유 루프 블록, 출력 블록으로 구성하며, 추론 시 루프 블록을 가변 횟수로 반복 실행할 수 있다.
- 6조 개 토큰으로 사전 학습했으며, 초기 4.5조 토큰은 NVFP4 양자화로 학습했고 이후 컨텍스트 길이를 256K로 확장했다.
- 감독학습(SFT)과 보상 기반 강화학습(RLVR)으로 후학습했으며, 난이도 인식 루프 커리큘럼을 통해 어려운 프롬프트를 더 깊은 루프로 라우팅했다.
- 루프 횟수를 늘리면 정확도가 개선되며, 특히 코딩·에이전트·장문맥 벤치마크에서 큰 향상을 보인다.
- 2회 이상 루프일 때 Qwen3.5-9B, Gemma 4 12B, Gemma 4 26B-A4B 같은 더 큰 모델들보다 12개 벤치마크 평균에서 더 나은 성능을 낸다.
- 에이전트 벤치마크에서 4회 루프 시 1회 루프 대비 1.3~2.5배 더 적은 토큰을 생성하는데, 추가 계산이 숨은 공간에서 이루어지기 때문이다.
- 루핑 중 메모리 효율을 높이기 위해 마지막 루프의 키·값만 캐시하므로, 루프 횟수에 관계없이 KV 캐시 메모리는 루프 없는 모델과 동일하면서도 대부분의 성능 이득을 유지한다.
- BF16, MXFP8, NVFP4, GGUF 양자화 체크포인트를 오픈소스로 공개했다.