작은 모델도 강력하게: 필요할 때만 큰 모델에 묻는 추론 시스템
Key Point
작은 모델이 큰 모델과 비슷하거나 나은 성능을 훨씬 낮은 비용으로 달성하는 방법을 보여주므로, 프로덕션 추론 비용 최적화를 고민하는 개발팀에게 직접적인 영향이 있다.
핵심 요약
- 작은 추론 모델(sRM)의 테스트 타임 컴퓨팅을 확장하는 것이 성능 향상의 핵심이지만, 더 많은 사고가 항상 도움이 되는지는 명확하지 않다.
- 중간 추론 상태에 개입하는 실험을 통해 자기개선(self-refinement)이 기존에 도달 가능한 해답으로 확률질량을 집중시킬 뿐, 새로운 해답을 만들지는 못한다는 것을 발견했다.
- 두 가지 실패 양식을 식별했다: 올바른 경로는 도달 가능하지만 실행에 실패하는 실행 병목(execution bottleneck)과, 외부 정보가 필요한 지식 병목(knowledge bottleneck)이다.