LLM 추론 학습에 근거 정보를 선택적으로 활용하기

핵심 요약

• 정책 강화학습으로 대형언어모델의 추론 능력을 높이려는 시도가 늘고 있으나, 어려운 문제에서 올바른 궤적을 발견하지 못할 때 보상 신호가 드물어서 학습이 정체하는 문제가 있다.
• 기존 방식은 오프폴리시 데이터나 전문가 궤적, 모델 생성 솔루션을 보조 정보로 사용하지만, 이들이 강화학습 작업 형식과 일치해야 하며 보통 더 강한 모델에서 거부 샘플링으로 학습 자료를 얻어야 한다.
• RGPO(Rationale-Guided Policy Optimization)는 모델의 현재 능력에 맞춰 정답 근거(rationale) 정보를 적응적으로 활용하되 탐색의 자유도를 보존하는 프레임워크다.
• 참고 솔루션을 모방 대상으로 보지 않고 임시 스캐폴딩으로 취급하며, 근거 정보가 모델의 응답 생성을 돕고 이후 더 높은 보상을 받은 모델 생성 솔루션만 지도 없는 원래 환경으로 전환한다.
• 이 설계는 오프폴리시 데이터가 RL 작업 형식을 따를 필요 없이 기존 정보를 활용할 수 있게 하며, 언어 전용 및 비전-언어 추론 환경 모두에서 RLVR 기준선보다 일관되게 성능을 개선한다.
• 소거 실험에서 적응형 근거 지도가 성능 향상의 핵심 요인임을 확인했으며, 보상 희소성을 줄이고 강화학습을 안정화하며 텍스트와 멀티모달 모델의 추론 성능을 개선하는 실용적이고 일반적인 방법임을 시사한다.