강화학습만으로 의료 LLM 도메인 적응한 HuatuoGPT-3
Key Point
의료 LLM 개발 시 SFT 없이 강화학습만으로도 최신 모델을 능가하는 성과를 낼 수 있음을 보여주므로, 도메인 적응 파이프라인의 효율성이 크게 달라질 수 있습니다.
핵심 요약
- 범용 대규모언어모델(LLM)을 특정 도메인 전문가로 바꾸기 위해 OnePO(One-stage Policy Optimization)라는 강화학습 기법을 제안했습니다.
- 기존 SFT+RL 방식은 탐색 다양성을 감소시키고 다단계 최적화의 복잡성이 있어, 순수 강화학습만으로 적응하는 방식을 개발했습니다.
- 순수 on-policy RL의 콜드스타트 문제와 혼합정책 RL의 문제점(gradient starvation, teacher-distribution anchoring)을 파악했습니다.