Hugging Face 논문AI · 머신러닝

저정밀 연산으로 LLM 강화학습 안정화, FP8 파이프라인 전체 최적화

원제 Towards Full Pipeline FP8 Reinforcement Learning for LLMs

추천 13댓글 2Fanchao Chen, Ziheng Jiang, Ziyun Wei 외
Key Point

저정밀 연산(FP8)으로 LLM 강화학습 속도를 높이면서도 BF16 수준의 안정성을 유지할 수 있게 되어, 대규모 모델의 효율적인 학습이 실무에서 더 현실적으로 가능해진다.

핵심 요약

  • LLM의 추론·에이전트 능력 향상을 위해 강화학습이 중요 기법으로 자리잡았으며, FP8 양자화는 학습 속도를 높일 수 있으나 전체 파이프라인에서 안정성 유지가 과제였다.
  • 기존 연구는 TIS 같은 보정 기법으로 훈련-추론 불일치를 해결했지만, 전체 FP8 강화학습 파이프라인에서는 여전히 심각한 불안정성이 발생한다.
  • 문제는 훈련 중 갑작스런 엔트로피 급상승과 출력 왜곡으로 나타나는데, 근본 원인은 누적된 FP8 양자화 잡음이 중요도 비율을 왜곡해 음수 이득 토큰을 신뢰 영역 밖으로 밀어내고 그래디언트를 잘못 영점화한다는 점이다.
  • 결과적으로 오류 출력이 충분히 페널티를 받지 못하고 학습 과정에서 축적된다.
  • 연구진은 '보정된 클리핑(Calibrated Clipping)'이라는 동적 방법을 제안해 FP8 클리핑 경계를 고정밀 BF16 분포에 정렬하며, 하한 클리핑 분위수를 매칭하고 상한을 재조정한다.
  • GRPO·DAPO 알고리즘, 8B~32B 모델 규모, 다양한 FP8 스케일링 방식에 걸친 실험 결과 엔트로피 급상승이 제거되고 BF16 기준선과 동등한 성능이 복원되었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗