LLM이 스스로 학습한다, 외부 감시 없이
원제 On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
추천 35댓글 2
Key Point
기존의 자가 학습은 인간의 감시가 필수였으나, 이 방식은 모델이 완전히 독립적으로 자신의 학습 자료를 만들고 개선할 수 있음을 입증했다.
핵심 요약
- 대규모 언어모델이 외부 교사나 인간이 만든 문제 없이 자가 학습으로 성능을 개선하는 온폴리시 자가 증류 방식을 재정의했다.
- 모델은 주제 설명만 받고 스스로 질문-답변 쌍과 고급 추론 과정을 생성하는 합성 커리큘럼을 구축한다.
- 완전히 인공적으로 생성한 정보로만 자가 증류를 수행해도 여러 영역에서 성능 개선이 가능하며, 학습하지 않은 영역의 능력도 유지된다.
- 텍스트와 멀티모달 영역 모두에서 일관되게 개선되었으며, 언어 벤치마크와 시각 질의응답 작업에서 자동으로 향상됨을 확인했다.
- 기초 모델이 보유한 잠재 능력이 외부 작업 감시나 큐레이션된 문제 분포 없이도 증폭될 수 있음을 보여준다.