AI 토큰 가격, 매년 수십 배 하락…계산 도구보다도 싸져
원제 Tokens Too Cheap to Meter
140 포인트댓글 118
Key Point
저비용 고성능 AI가 단순한 기술 개선을 넘어 소프트웨어 산업 구조와 개발 방식을 근본적으로 바꾸려는 시점이 임박했기 때문이다.
핵심 요약
- LLM 비용이 매년 수십 배 하락하면서 향후 1~2년 내 AI가 컴퓨팅 인프라로 통합될 것으로 예상된다.
- GPU 효율이 2년마다 2배씩 증가하고, 작업당 비용은 2025년 동안 100배 이상 하락했으며, vLLM 같은 추론 엔진도 15개월간 40% 효율이 개선되었다.
- Mixture-of-Experts 모델 아키텍처로 매개변수 6B에서 0.8B로 줄이면서도 성능 유지 가능해졌고, Mamba 아키텍처는 메모리 필요량을 5배 이상 감소시켜 3~6년 내 지역 실행이 현실화될 전망이다.
- Jev 같은 특화 모델은 입력 토큰 당 42달러/10억 토큰으로 일반 LLM(200~1000만 달러/10억 토큰)보다 수십 배 저렴해, 도구 호출보다 AI 추론이 더 싸지는 상황이 임박했다.
- 토큰 비용이 떨어지자 개발자들이 grep 같은 도구에 AI를 내장하기 시작했으며, 향후 적응형 빌드 스케줄러 같은 인프라에도 확대될 가능성이 높다.
- 기업들은 비용이 내려갈수록 AI 사용을 늘리는 '제보스 역설'을 따를 것으로 예상되어, 사이버보안 위협 심화, 클라우드 인프라 수요 증가, 소프트웨어 가치의 운영·보안 중심 전환이 일어날 것으로 보인다.
- OpenAI·Anthropic 같은 frontier 모델 업체는 여전히 품질 우위를 지녀 이익성을 유지하겠지만, 오픈웨이트 모델이 따라잡으면 투자자들에게 영향을 미칠 수 있다.
- LLM이 충분히 싸지면 사용자가 원하는 소프트웨어를 AI로 직접 생성할 수 있는 '네 번째 옵션'이 생겨, 기업들이 구현 능력보다는 품질과 보안으로 경쟁해야 하는 시대가 올 것으로 전망된다.