RTK의 토큰 절감 효과, 실제 벤치마크에서는 미미
원제 RTK reports token savings, but our cost benchmarks disagree
116 포인트댓글 57
Key Point
AI 코딩 도구의 비용 절감 효과가 마케팅 주장과 실제 벤치마크에서 큰 차이가 나는 사례로, 어떤 AI 도구가 실제로 비용을 절감하는지 판단할 때 참고할 만한 검증 기준을 보여준다.
핵심 요약
- AI 코딩 도구 RTK는 터미널 출력을 압축해 토큰 사용량을 줄인다고 주장하며 79k GitHub 스타를 기록했다.
- Terminal-Bench 2.1에서 1,740회 실험 결과 Claude Code는 5% 비용 감소, OpenCode는 5% 비용 증가했으나, 성공률은 각각 1~2% 하락했다.
- 작업별 평균 비용 변화를 측정하면 Claude Code는 1% 더 비싸졌고 OpenCode는 17% 더 비싸졌으며, 한 작업을 제외하면 절감 효과는 거의 없다.
- RTK가 보고하는 '토큰 절감량'(89% 감소)은 필터링된 바이트를 기준으로 산정하므로 실제 청구 토큰과 무관하다.
- 터미널 출력은 Claude Code 입력의 11%, OpenCode의 40%에 불과하며, 대부분의 호출이 이미 output을 제한하고 있다.
- 캐시된 터미널 출력은 정규 토큰의 1/10~1/30 비용이므로 RTK의 압축 효과가 제한적이다.