대형 언어모델, 강화학습으로 '자기주도 학습' 능력 키운다
원제 Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
추천 35댓글 8
Key Point
미지의 영역에서 LLM의 문제해결을 좌우하는 '즉각적 학습' 능력을 강화학습으로 끌어내는 방법론을 제시해 지식 습득과 추론의 결합 방식을 새로이 정의한다.
핵심 요약
- LLM이 미지의 영역에서 문제를 풀려면 사전학습된 지식이나 고정 검색만으로는 부족하며, 참고 자료를 즉시 습득하고 추론하는 자기주도 학습이 필요하다.
- 연구팀은 교과서 기반 수학 문제 풀이 과제를 설계했으며, 모델이 교과서 설명을 탐색하고 원리를 학습·적용해 증명을 구성하되 정답은 제공하지 않는다.
- BookNavigator 인터페이스를 통해 이러한 학습 과정을 지원하고, 미세하게 조정된 보상 신호를 이용한 강화학습으로 자기주도 학습을 유도했다.
- Intern-S2-Preview-35B 모델의 증명 정확도가 51.5%에서 79.5%로 상승했으며, 검색 없는 기준 모델과 고정 검색 기준 모델보다 우수한 성능을 보였다.
- 학습 효과가 도메인과 교과서, 주제를 넘어 일관되게 나타났으며, BrowseComp-Plus와 CL-bench 같은 장문맥 벤치마크에서도 기준 모델 대비 각각 1.7%포인트, 2.3%포인트 개선됐다.
- 이 결과는 강화학습이 도메인 불특정 자기주도 학습 전략을 형성할 수 있으며, 장문 자료로부터의 자기주도 학습이 복잡한 장문맥 과제의 문제해결 능력을 강화할 수 있음을 시사한다.