SFT에서 토큰 가중치를 다시 설계하다: SCALE 방법론
원제 Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features
추천 11댓글 2
Key Point
기존 미세 조정 방식의 근본적인 한계를 분석하고 새로운 기준틀을 제시하는 방법론으로, 수학·코드 성능에서 기존 방식을 초과하면서 실제 모델 개선에 활용될 수 있는 기술입니다.
핵심 요약
- 감독된 미세 조정(SFT)은 모델이 가능성 낮다고 판단한 토큰에서 가장 적극적으로 학습하는데, 이는 새로운 동작을 습득하는 동시에 노이즈나 충돌하는 지도를 증폭하고 기존 사전학습 지식을 덮어쓸 수 있다.
- 기존 토큰 재가중치 방법들은 음이 아닌 계수를 할당해 지도 업데이트를 억제하거나 증폭할 수 있지만, 일단 학습된 해로운 특성을 역으로 돌릴 수 없다.
- 큰 학습 가중치는 최적화 궤적을 바꾸는 것이지 고정된 SFT 방향의 크기를 조정하는 것이 아니므로, 진정한 특성 추외삽은 이루어지지 않는다.
- 저자들은 역전과 추외삽을 위해서는 고정된 SFT 델타로 정의된 안정적인 기준틀이 필요하다고 주장한다.
- 제안하는 SCALE 방법은 사전학습 모델과 SFT 델타를 동결하고, 예측 엔트로피만 최소화하여 경계가 있는 토큰·모듈별 게이트를 학습한다.
- 이 게이트는 엔트로피 감소와의 일치도에 따라 동결된 SFT 특성을 억제, 역전, 또는 추외삽한다.
- Qwen2.5-Math-1.5B, Qwen2.5-Math-7B, Qwen3-4B-Base에서 SCALE은 수학 추론에서 각각 37.84, 43.60, 36.57의 평균값을 달성하며 가장 강력한 기저선을 초과한다.
- HumanEval, HumanEval+, MBPP에서 세 모델 모두에 대해 최고의 평균 코드 생성 성능을 얻었으며, 일반 지식 유지 벤치마크에서도 경쟁력 있는 수준을 유지했다.
- 이 결과는 효과적인 SFT 개선이 이미 학습된 잔차를 어떻게 사용할지 제어하는 것에서 비롯될 수 있음을 시사한다.