여러 목표를 동시에 학습하는 저비용 언어모델 최적화 기법 LambdaMix
Key Point
사용자 선호도에 따라 실시간으로 모델의 행동을 조정하면서도 저비용으로 여러 목표를 동시에 최적화할 수 있다는 점이 실무 배포에서 중요하다.
핵심 요약
- 언어모델 배포 시 사용자 선호도에 따라 목표 간 트레이드오프를 조정해야 하지만 기존 후학습 방식은 고정된 가중치의 단일 정책만 생성한다.
- LambdaMix는 매개변수 효율적인 방법으로 그룹 상대 강화학습을 통해 선호도에 따라 달라지는 정책 집합을 학습한다.
- 고정된 기본 모델 위에 목표당 하나씩 저비용 어댑터(LoRA)를 함께 학습하며, 하나의 선호도 벡터가 어댑터 혼합을 선택하고 보상 가중치를 조정한다.