LLM 추론 강화에 새로운 액터-크리틱 알고리즘 S3AC 제시
원제 S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
추천 33댓글 2
Key Point
대규모 언어 모델의 추론 능력을 효율적으로 향상시키려는 개발자와 연구자에게 확장 가능한 크리틱 훈련 방식을 제시하며, 특히 단일 롤아웃으로 안정적 훈련을 지속하는 기술적 진전이 실무 적용 비용 절감으로 직결된다.
핵심 요약
- 롱 체인-오브-소트(CoT) 추론을 위한 강화학습에서 크리틱(가치함수)을 효과적으로 훈련하는 방법이 부재한 문제를 해결한 논문이다.
- 기존 크리틱 없는 방법들은 토큰 수준의 신용 할당이 어렵고 그룹 롤아웃으로 기준선을 추정해야 했다.
- S3AC는 훈련된 크리틱으로 토큰별 이득과 프롬프트별 기준선을 제공하며, 길이가 다른 궤적의 불충분한 커버리지와 초기 기울기 문제를 해결하는 실용적인 훈련 레시피를 제시한다.
- 프롬프트 수준의 기준선을 어려움 추정에 활용하는 DAPS(Difficulty-Aware Prompt Sampling)을 제안하여, 결과 기록과 결합해 생성 전 프롬프트를 선택함으로써 롤아웃 낭비를 줄인다.
- S3AC는 1.5B에서 397B 파라미터의 밀집형 및 혼합 전문가 모델 전반에서 그룹 롤아웃 성능을 개선하였다.
- 35B 모델에서 단일 롤아웃 훈련을 유지하는 반면, 테스트된 크리틱 없는 기준선들은 초기 성과 이후 성능이 저하된다.
- GRPO-X 같은 최신 변형 방법보다 우수한 성능을 보이며, 크리틱 훈련의 확장성과 안정성 문제를 동시에 해결한다.