LLM 숨겨진 상태 분석으로 추론 가속화 방법 개선
원제 Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
추천 14댓글 2
Key Point
LLM 추론 속도 최적화는 실제 배포에서 핵심인데, 이 연구가 제시하는 계층 선택 방법이 기존 휴리스틱 대비 체계적이고 더 효율적이기 때문에 실제 서빙 비용 절감으로 이어질 수 있다.
핵심 요약
- LLM의 여러 계층 숨겨진 상태들이 서로 다른 정보를 담고 있지만, 기존 추론 가속(speculative decoding) 방법들은 위치 기반 휴리스틱으로 선택한 소수 계층만 활용하고 있다.
- 이 연구는 정보량(행렬 엔트로피) 및 다양성(CKA 분석)이라는 두 기준으로 최적의 다중 계층 숨겨진 상태를 선택하는 원칙 기반 프레임워크를 제시한다.
- 계층별 섀넌 엔트로피, 숨겨진 상태 결합 시 총 엔트로피, 계층 깊이에 따른 쌍별 CKA 동역학을 조사한 결과 디코더 표현 내에 서로 다른 기하학적 및 정보 구획이 존재함을 발견했다.
- 이러한 발견을 바탕으로 엔트로피와 CKA 기반 계층 선택 알고리즘을 제안하며, 낮은 예측 엔트로피의 토큰 관련 숨겨진 상태를 제거하는 토큰 엔트로피 필터링을 도입한다.
- EAGLE3 스타일의 추론 가속화에서 제안된 계층 조합이 기본값인 [2, N//2, N-3] 규칙을 포함한 고정된 기준보다 더 나은 성능을 보이면서도 기존 방식의 경쟁력을 설명한다.
- 이 연구는 추론 가속화를 위한 다중 계층 선택의 실용적 방법론을 제시하고 LLM 디코더 상태의 기하학과 정보 구조에 대한 이해를 높인다.