Mercury 2.5, 저지연 생성형 LLM의 차세대 모델 공개
Key Point
저지연이 필수적인 음성·검색·코딩 시스템에서 실제로 검증된 경량 모델이 나왔으며, 기존 고사양 모델 대비 훨씬 저렴하면서도 실제 프로덕션 환경에서 성능을 입증했다.
핵심 요약
- Inception Labs가 확산형(diffusion) 언어모델인 Mercury 2.5를 출시했으며, Mercury 2보다 40% 지능이 향상됐다.
- 초당 1,107개 토큰 생성 속도로 GPT-4o나 Claude Haiku 등 주요 경량 모델과 유사한 성능을 낸다.
- 입력 토큰당 $0.20/백만, 출력 토큰당 $0.75/백만이며 런칭 기념으로 80% 할인된 가격을 제공한다.
- 음성 에이전트(OpenCall 사례), 검색 인프라, 코딩 에이전트 등 저지연이 중요한 프로덕션 워크로드에서 검증됐다.
- Augment Code의 컨텍스트 압축 작업을 Mercury로 전환했을 때 지연 시간 82% 감소, 비용 90% 절감을 달성했다.
- 음성 전용 모델인 Mercury Voice(170ms 이하 TTFT)와 모델 라우팅 도구인 Mercury Router도 공개 예정이다.