LLM 추론 과정을 CPU에서 재사용하는 캐싱 기법
Key Point
수학·과학 문제 같은 구조적 추론을 요하는 작업에서 LLM 호출 비용을 최대 291배까지 절감할 수 있어, 실용적 AI 응용의 경제성을 크게 바꿀 수 있다.
핵심 요약
- 대규모 언어모델은 같은 논리 구조의 문제를 풀 때마다 처음부터 추론하는 비효율이 있다.
- CPU-ARC는 LLM의 추론 흔적(reasoning traces)으로부터 CPU에서 실행 가능한 에이전틱 추론 캐시를 구성하는 기법이다.
- 한 번 풀어낸 과제의 논리 구조를 캐시로 저장하면, 새로운 입력에 대해서는 LLM의 개입 없이 효율적으로 해결할 수 있다.