강화학습 미세조정 후 LLM의 성능 편향성, 'Sharpening Tax' 측정법 제시
원제 Sharpening Tax in Post-Training
추천 83댓글 2
Key Point
LLM의 강화학습 미세조정이 실제로는 문제 해결 능력을 좁히는 부작용이 있다는 실증적 증거와 이를 측정하고 개선하는 방법론을 제시하여, 에이전트 성능 평가와 최적화 전략에 근본적인 재고를 촉구한다.
핵심 요약
- RL 미세조정이 기본 모델의 기존 행동만 선명하게 만들어 단일 시도 정확도(pass@1)는 높이지만 전체 해결 가능성(pass@K)은 낮춘다는 가설이 제기되고 있다.
- 아젠틱 작업에서는 사전학습 모델이 추론 시간 예산을 충분히 주면 미세조정 모델보다 pass@K에서 더 높은 성능을 보인다는 놀라운 발견이 있었다.
- 미세조정이 작업을 '항상 해결 가능' 또는 '절대 불가능' 양극단으로 밀어 샘플링 효율과 일관성은 개선하지만 해결 가능 범위는 줄인다는 메커니즘을 규명했다.
- 이러한 손실을 측정하기 위해 'Sharpening Tax'라는 진단 지표를 제안했으며, 이는 미세조정 후 테스트 타임 확장성 손실을 정량화한다.
- 4개 모델 계열, 14개 기본/미세조정 모델 쌍, 3개 아젠틱 벤치마크(총 42가지 경우)에서 Sharpening Tax가 대부분 존재하고 적은 샘플로도 추정 가능하며 다른 지표와 잘 상관된다.
- 난이도에 따라 샘플링 온도를 동적으로 조정하는 후험적 그룹 샘플링(PTGS)이라는 플러그앤플레이 방식을 제시했으며, RL 학습 중 적용하면 더 낮은 tax를 유지하면서 반복 샘플링에서 더 많은 작업을 해결하고 단일 시도 정확도도 개선한다.