RL 논문은 쏟아지는데 프레임워크 적용은 1.5%

핵심 요약

• 강화학습 훈련 방법은 오픈소스 프레임워크에 포함되면 사용자가 한 번의 설정 변경으로 바로 써볼 수 있다.
• 연구진이 7개 오픈소스 RL 훈련 프레임워크의 커밋 이력을 추적하고 2025년 1월부터 2026년 6월까지 arXiv에 게재된 6,939개 논문과 연결했다.
• 이 중 범용 RL 훈련 방법을 제안한 논문은 1,598개였으나, 적어도 하나의 프레임워크에 포함된 것은 37개(2.3%)에 불과했다.
• 분기별 5개 코호트를 추적한 결과, 180일 이내에 포함된 논문은 5~7개로 일정했던 반면 전체 논문은 72개에서 386개로 증가했다.
• 포함된 논문들은 포함되지 않은 논문 대비 30B 이상의 정책 모델을 훈련했을 가능성이 4배 높았고(41% vs 10%), 기존 손실 함수의 계수·클립·마스크·가중치를 수정했을 가능성이 3배 높았다(29% vs 9%).
• 프레임워크 개발사의 논문을 제외해도 두 격차가 유지되었으나 코드 공개 여부는 두 그룹 간 차이가 없었다.
• 프레임워크의 이슈·풀 리퀘스트를 분석한 결과 어떤 방법도 공개적으로 거절당하지 않았으나, 포함되지 않은 1,561개 범용 방법 중 90% 이상이 프레임워크 이슈에서 언급되거나 인용된 기록이 없었다.
• 방법을 제안한 스레드는 있지만 응답이 없는 경우도 많았다.
• 13개 주요 오픈웨이트 모델의 기술 보고서 분석 결과 사용자들은 공개 채널에서 훈련 실패를 거의 보고하지 않았으며, 보고된 방법은 널리 포함된 8개 방법에 불과했다.
• 연구진은 훈련 실패와 프레임워크 구현을 연결하고 각 프레임워크의 기여 규칙과 과거 제안을 목록화한 추적 데이터를 공개했다.