LLM 미세조정 시 성능 손상 방지하는 CurvDelta 등장
원제 CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning
추천 26댓글 2
Key Point
LLM을 새로운 기술에 맞게 조정하되 기존 능력을 유지해야 하는 현실적 니즈가 늘어나고 있으며, CurvDelta는 이 문제에 대한 체계적 해결책을 제시한다.
핵심 요약
- 대형언어모형(LLM)을 특정 작업에 맞춰 적응시킬 때 기존 능력이 떨어지는 문제를 해결하기 위해 CurvDelta라는 프레임워크를 제안했다.
- CurvDelta는 모델 업데이트의 매개변수 공간을 재설계해 기존 능력 보존 제약을 반영하고, 보존 손실이 거의 변하지 않는 저곡률(low-curvature) 공간을 구성한다.
- Kronecker-factored approximate curvature(K-FAC)와 인수분해 사영(factorized projection)을 활용해 LLM 규모에서 실용적으로 적용 가능하게 했다.
- 저계수 변형인 CurvLoRA도 함께 제안해 더 효율적인 적응을 가능하게 했다.
- 두 방법 모두 선택적 망각(selective unlearning)과 능력 학습 같은 보존 제약이 필요한 작업에 적용된다.
- 수학 추론과 코드 생성 평가에서 하위 작업 성능은 경쟁력 있으면서도 기존 능력을 더 잘 보존해 획득과 보존의 균형이 우수했다.
- 지식 망각 벤치마크인 TOFU와 MUSE에서도 목표 망각과 지식 보존의 균형이 기존 방법을 앞섰고, 처음부터 다시 학습한 참조 모델과 가까운 보존 성능을 보였다.