추론 단계 줄이되 정확도 유지, LoCo 방법론 공개
Key Point
추론 단계를 획기적으로 줄이면서도 정확도를 유지하는 방법이 나왔으므로, LLM 운영 비용 절감과 추론 최적화에 실제로 적용할 수 있는 기술이다.
핵심 요약
- 대규모 추론 모델은 충분한 정보를 얻은 후에도 계속 '생각하기'로 추론 비용이 많이 든다는 문제가 있다.
- 기존 압축 방법은 전체 추론 궤적에만 초점을 맞췄고, 현재 상태에서 계속 추론할지 멈출지 판단하는 지역적 의사결정을 간과했다.
- LoCo는 모델이 과도하게 생각하는 상태를 자신의 추론 흔적에서 감지하고, 그 지점부터 짧은 검증된 대안을 생성한 후 DPO로 학습하는 지역적 선호 학습 방법이다.