4비트 재귀 상태 양자화로 LLM 배치 처리 메모리 절감

핵심 요약

• 선형 어텐션 언어 모델은 고정 크기의 재귀 상태로 문맥을 유지하며, 추론 시스템은 동시에 복호화되는 각 시퀀스마다 상태 복사본을 저장해야 한다.
• 상태를 낮은 정밀도로 저장하면 더 많은 시퀀스가 가속기를 공유할 수 있지만, 기존 양자화 방식은 매 토큰 생성 후 반올림하므로 4비트에서 정확도 손실이 크다.
• PACE는 사후 4비트 상태 양자화 기법으로, 매 토큰마다가 아니라 여러 토큰 생성 후에만 한 번 상태를 반올림하고, 그 사이 생성된 토큰을 작은 버퍼에 보관한다.
• 덜 빈번한 반올림으로 상태에 누적되는 오차를 줄이며, 청크 커널이 프리필 중 청크당 한 번 반올림하는 방식과 일치한다.
• 게이트된 델타 상태의 큰 값들이 열에 모여 있다는 점을 발견했으므로, PACE는 양자화 스케일을 열 단위로 공유한다.
• 반올림 오차를 가장 오래 유지하는 헤드는 8비트로 유지한다.
• 4B에서 35B 파라미터 범위의 4개 하이브리드 모델 테스트 결과, 4비트와 8비트 헤드 혼합 PACE는 세 개의 더 큰 모델에서 약 2/3 메모리로 8비트 DAMP와 경쟁력 있는 성능을 보였다.
• 전체 4비트 헤드 PACE는 동일 메모리에서 Q-Mamba보다 높은 성능을 달성했으며, 몇 토큰마다 반올림하는 방식도 버퍼의 복호화 속도 향상을 유지한다.