대형 언어모델, 강화학습으로 '자기주도 학습' 능력 키운다
Key Point
미지의 영역에서 LLM의 문제해결을 좌우하는 '즉각적 학습' 능력을 강화학습으로 끌어내는 방법론을 제시해 지식 습득과 추론의 결합 방식을 새로이 정의한다.
핵심 요약
- LLM이 미지의 영역에서 문제를 풀려면 사전학습된 지식이나 고정 검색만으로는 부족하며, 참고 자료를 즉시 습득하고 추론하는 자기주도 학습이 필요하다.
- 연구팀은 교과서 기반 수학 문제 풀이 과제를 설계했으며, 모델이 교과서 설명을 탐색하고 원리를 학습·적용해 증명을 구성하되 정답은 제공하지 않는다.
- BookNavigator 인터페이스를 통해 이러한 학습 과정을 지원하고, 미세하게 조정된 보상 신호를 이용한 강화학습으로 자기주도 학습을 유도했다.