저정밀 연산 RL에서 성능과 안정성을 동시에 확보한 miniTE 공개
원제 miniTE: Diagnosing and Bridging the Execution Gap in Native NVFP4 Reinforcement Learning
추천 24댓글 2
Key Point
LLM 강화학습에서 저정밀 연산의 수치 안정성 문제를 해결하고 1.4배 이상의 처리 속도 향상을 달성한 기술이 공개되어, 더 효율적이고 저비용의 LLM 학습이 가능해진다.
핵심 요약
- Native NVFP4는 대형언어모델(LLM) 강화학습을 가속화할 수 있지만, 학습 엔진과 샘플링 엔진 사이의 수치 실행 일관성 유지가 어려운 문제가 있다.
- 단순히 모델 가중치와 수치 형식을 맞추는 것만으로는 일관된 정책 평가를 보장할 수 없으며, 크로스 엔진 수치 정렬이 중요함을 확인했다.
- miniTE는 실행 진단, 크로스 엔진 수치 정렬, W4A4 GEMM 계산을 결합한 경량 프레임워크로, RL 목적함수를 수정하지 않으면서도 수치 일관성을 개선한다.
- Qwen3-30B-A3B에서 장기 RL 실험 결과 안정적인 학습이 가능했고, 성능은 BF16 수준에 가까우면서 기존 Transformer Engine NVFP4를 능가했다.
- NVIDIA B300 GPU 단일 노드에서 최적화된 러너는 초당 33,540 토큰을 처리하며, BF16 대비 1.39배, TE NVFP4 대비 1.47배의 처리량을 달성했다.
- 프레임워크, 커널, 진단 도구, 학습 설정을 공개하여 저정밀 RL 구현을 용이하게 했다.