보상 모델의 편향을 동적으로 교정하는 BiasReducer 공개
원제 BiasReducer: Adaptive Bias Mitigation for Reward Models
추천 18댓글 1
Key Point
LLM 학습을 안내하는 보상 모델의 숨겨진 편향을 재학습 없이 교정할 수 있는 방법이 나왔으므로, 보상 모델 기반 LLM 최적화의 신뢰성을 높일 수 있다.
핵심 요약
- LLM의 보상 모델은 길이나 자신감 같은 피상적 특성에 편향되어 정확하지 않지만 점수가 높은 응답을 만드는 문제가 있다.
- 기존 편향 완화 방식은 모델 재학습이 필요하거나 알려진 편향 하나에만 고정된 교정을 적용하는 한계가 있다.
- BiasReducer는 보상 모델의 선형 헤드만 편집하고 각 데이터셋마다 맞춤형 편향 교정을 선택하는 경량 프레임워크다.
- SAE 방식의 인코더를 사용해 보상 모델이 민감한 속성(길이, 자신감 등)을 학습한다.
- 각 속성별로 보상 모델의 의존도를 낮추는 방법을 학습하며, 보상 헤드를 조정하는 방향과 크기를 결정한다.
- 새로운 데이터셋에 대해 속성의 영향력을 순위매기고 관련 속성을 선별해 모델을 편집한다.
- 5개의 보상 모델에서 BiasReducer-M은 3개 벤치마크에서 평균 8.3, 18.0, 6.9 포인트 개선했고 학습 기반 방식을 능가했다.
- 개선 효과가 하위 모델로 전이되어 불필요한 장황함과 영합 현상을 줄이면서 판정 품질은 유지한다.