긴 문맥 이해를 위한 강화학습 프레임워크 LongR
원제 LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards
추천 13댓글 2
Key Point
장문맥 환경에서 LLM의 추론 능력을 강화하는 실질적인 방법을 제시하며, 기존 희소 보상 방식의 한계를 극복한 구체적인 해결책을 보여줍니다.
핵심 요약
- LLM의 장문맥 추론 능력을 강화하기 위해 강화학습(RL)을 적용하는 연구로, 기존의 희소한 결과 기반 보상만으로는 복잡한 추론을 효과적으로 유도하기 어렵다는 문제를 해결합니다.
- 제안하는 LongR 프레임워크는 '생각과 읽기(Think-and-Read)' 메커니즘을 통해 추론 과정 중 필요할 때 문서를 참고하는 방식으로 작동합니다.
- 상대적 정보 이득(relative information gain)을 기반으로 한 맥락 기반 밀도 보상을 도입하여, 증거 주석 없이도 관련 문서의 유용성을 정량화합니다.
- LongBench v2에서 9% 이상의 성능 향상을 달성했으며, RULER와 InfiniteBench에서도 일관된 개선을 보였습니다.
- DAPO, GSPO 등 다양한 RL 알고리즘에 대해 일관되게 성능을 향상시키며, 추론 체인 길이가 효율성에 미치는 영향과 방해 정보에 대한 견고성을 분석합니다.