LLM 추론 최적화 AI가 자동으로 알고리즘 발견

핵심 요약

• 추측 기반 디코딩(Speculative Decoding)은 경량 드래프터로 LLM 추론을 가속화하지만, 병렬 드래프팅을 지원하는 기존 시스템들이 최대 성능을 내지 못하고 있다.
• 문제는 세 가지다: 단일 요청 시 각 단계에서 적은 토큰만 인식하면서 모든 타겟 가중치를 읽으고, 배치 처리 시 요청당 검증 작업이 자동 회귀 방식 대비 속도 향상을 절반으로 줄이며, 최적화가 배포 환경·드래프터·타겟 모델·GPU에 따라 달라진다.
• SpecPilot은 에이전트 루프로 각 배포에 최적화된 알고리즘과 시스템 최적화를 자동으로 발견한다.
• 각 라운드마다 비용 모델이 현재 시스템과 이론적 한계 사이의 격차를 찾고, 병렬 에이전트가 최적화 방향을 탐색해 성공한 것들을 통합한다.
• 토큰 강제 검증은 모든 출력을 기존 시스템과 대조해 보상 해킹을 감지하고, 구조화된 메모리는 검증된 메커니즘을 새 라운드와 배포로 옮긴다.
• SpecPilot은 12비트 가중치 형식, 하이브리드 순환 타겟을 위한 트리 검증, 2단계 검증, 3가지 배치 메커니즘을 발견했다.
• 4개 타겟 모델, 3개 드래프터, 2개 GPU 플랫폼, 5개 벤치마크에서 평가한 결과, 학습이나 품질 손실 없이 단일 요청 시 자동 회귀 대비 속도 향상을 기존 4.46배에서 10.87배로, 배치 처리 시 1.94배에서 3.93배로 끌어올렸다.