구글 제미나 모델의 추론 토큰 39% 줄이면서 성능 유지

핵심 요약

• BottleCapAI가 구글의 Gemma-4-26B-A4B 모델을 최적화한 ThinkingCap 버전을 공개했다.
• 추론 토큰을 평균 38.9% 줄였으며 최대 69.1%까지 감소시킨 벤치마크도 있다.
• 12개 벤치마크 평균 정확도는 75.18%에서 75.03%으로 0.15pp만 하락했다.
• 모델의 무한 루프 문제인 '루핑'은 3.64%에서 0.76%로 대폭 감소했다.
• 같은 샘플링 설정과 vLLM 스택을 유지하는 드롭인 교체 모델이며, 기존 모델과 동일한 추론 환경에서 작동한다.
• 수학(AIME, HMMT), 코드(LiveCodeBench), 지식·추론(GPQA, MMLU), 장문맥·멀티모달(LongBench, AA-LCR), 명령 수행(IFBench, τ²-bench)의 12개 작업군에서 모두 추론 토큰이 단축됐다.
• 긴 문맥과 멀티모달 작업에서 가장 큰 감소(54.4%)를 보였고, 명령 수행 작업에서 가장 작은 감소(17.2%)를 나타냈다.
• 5개 벤치마크는 정확도가 상승했고, AA-LCR에서만 4.0pp 하락이 있었던 외에는 모두 신뢰도 구간 내의 오차 범위였다.
• 이는 Qwen, NVIDIA 모델 다음 세 번째 모델 계열에 ThinkingCap을 적용한 사례다.
• 기업용 PRO 버전은 평균 62%, 최대 87.6%의 추론 토큰 감소를 제공한다.
• 동일한 정확도 조건에서 더 작은 토큰 예산으로 같은 성능을 달성할 수 있으며, 전체 벤치마크 범위에서 원본보다 효율적이다.
• 평가는 같은 하네스, 동일한 샘플링·서빙 설정, 여러 시드(4~64개)로 수행됐으며 95% 신뢰도 구간과 함께 보고되었다.