추론 단계 줄이되 정확도 유지, LoCo 방법론 공개
원제 Think Less, Locally: Local Preference Learning for Reasoning Compression
추천 63댓글 6
Key Point
추론 단계를 획기적으로 줄이면서도 정확도를 유지하는 방법이 나왔으므로, LLM 운영 비용 절감과 추론 최적화에 실제로 적용할 수 있는 기술이다.
핵심 요약
- 대규모 추론 모델은 충분한 정보를 얻은 후에도 계속 '생각하기'로 추론 비용이 많이 든다는 문제가 있다.
- 기존 압축 방법은 전체 추론 궤적에만 초점을 맞췄고, 현재 상태에서 계속 추론할지 멈출지 판단하는 지역적 의사결정을 간과했다.
- LoCo는 모델이 과도하게 생각하는 상태를 자신의 추론 흔적에서 감지하고, 그 지점부터 짧은 검증된 대안을 생성한 후 DPO로 학습하는 지역적 선호 학습 방법이다.
- 수학 문제에서 완성 길이를 41.7~45.4% 줄였고 코드 생성에서 23.4~36.3% 줄였으면서도 정확도는 유지 또는 향상되었다.
- 수학 벤치마크 5개와 코드 생성 벤치마크 3개에서 평가했으며, 코드 벤치마크 전체에서 최고의 AUC를 달성했다.
- 수학 데이터만으로 학습했는데도 코드 생성으로 효과적으로 전이되었으며, 정확도-효율성 트레이드오프를 수학과 코드 모두에서 지속적으로 개선했다.
- 학습 데이터는 모두 자체 생성한 수학 추론 흔적에서 구성했으며, 코드와 모델은 GitHub에서 공개될 예정이다.