저정밀 연산으로 LLM 강화학습 안정화, FP8 파이프라인 전체 최적화
원제 Towards Full Pipeline FP8 Reinforcement Learning for LLMs
추천 13댓글 2
Key Point
저정밀 연산(FP8)으로 LLM 강화학습 속도를 높이면서도 BF16 수준의 안정성을 유지할 수 있게 되어, 대규모 모델의 효율적인 학습이 실무에서 더 현실적으로 가능해진다.
핵심 요약
- LLM의 추론·에이전트 능력 향상을 위해 강화학습이 중요 기법으로 자리잡았으며, FP8 양자화는 학습 속도를 높일 수 있으나 전체 파이프라인에서 안정성 유지가 과제였다.
- 기존 연구는 TIS 같은 보정 기법으로 훈련-추론 불일치를 해결했지만, 전체 FP8 강화학습 파이프라인에서는 여전히 심각한 불안정성이 발생한다.
- 문제는 훈련 중 갑작스런 엔트로피 급상승과 출력 왜곡으로 나타나는데, 근본 원인은 누적된 FP8 양자화 잡음이 중요도 비율을 왜곡해 음수 이득 토큰을 신뢰 영역 밖으로 밀어내고 그래디언트를 잘못 영점화한다는 점이다.
- 결과적으로 오류 출력이 충분히 페널티를 받지 못하고 학습 과정에서 축적된다.
- 연구진은 '보정된 클리핑(Calibrated Clipping)'이라는 동적 방법을 제안해 FP8 클리핑 경계를 고정밀 BF16 분포에 정렬하며, 하한 클리핑 분위수를 매칭하고 상한을 재조정한다.
- GRPO·DAPO 알고리즘, 8B~32B 모델 규모, 다양한 FP8 스케일링 방식에 걸친 실험 결과 엔트로피 급상승이 제거되고 BF16 기준선과 동등한 성능이 복원되었다.