강화학습만으로 의료 LLM 도메인 적응한 HuatuoGPT-3
원제 HuatuoGPT-3: RL-Only Domain Adaptation from Base Models
추천 26댓글 2
Key Point
의료 LLM 개발 시 SFT 없이 강화학습만으로도 최신 모델을 능가하는 성과를 낼 수 있음을 보여주므로, 도메인 적응 파이프라인의 효율성이 크게 달라질 수 있습니다.
핵심 요약
- 범용 대규모언어모델(LLM)을 특정 도메인 전문가로 바꾸기 위해 OnePO(One-stage Policy Optimization)라는 강화학습 기법을 제안했습니다.
- 기존 SFT+RL 방식은 탐색 다양성을 감소시키고 다단계 최적화의 복잡성이 있어, 순수 강화학습만으로 적응하는 방식을 개발했습니다.
- 순수 on-policy RL의 콜드스타트 문제와 혼합정책 RL의 문제점(gradient starvation, teacher-distribution anchoring)을 파악했습니다.
- OnePO는 Adaptive Objective Evolution으로 교사 모델의 저확률 정보토큰 학습을 강화하고, Teacher Retirement로 현재 정책이 초과하면 교사 출력을 폐기합니다.
- 의료 도메인 적응에서 20K 샘플만으로 HealthBench(Total)에서 67.2점을 달성해 SFT+RL(64.5점)과 순수 RL(59.8점)을 각각 2.7점, 7.4점 앞질렀습니다.
- OnePO를 확장한 HuatuoGPT-3 의료 LLM 시리즈를 오픈소스로 공개했으며, 27B 모델은 HealthBench(Total) 70.1점과 HealthBench Professional 71.4점을 기록했습니다.
- HuatuoGPT-3는 GPT-6 Astra 등 최신 모델들을 능가했습니다.
- 모델과 코드는 GitHub(FreedomIntelligence/HuatuoGPT-3)에서 다운로드 가능합니다.