Hacker NewsAI · 머신러닝

확산 기반 LLM 머큐리 3 공개, 초당 1000+ 토큰 처리

원제 Mercury 3: Diffusion at scale

180 포인트댓글 75
Key Point

확산 기반 LLM이 자동회귀 모델과의 경쟁에서 확장 가능함을 증명하는 첫 번째 상용 사례로, 실시간 AI 애플리케이션의 지연 시간 문제를 해결할 수 있다.

핵심 요약

  • 확산(Diffusion) 기반 LLM인 머큐리 3를 공개했으며, 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5를 능가하면서 4~8배 빠른 초당 1,068 토큰을 처리한다.
  • 머큐리 1 대비 40배 이상 모델 파라미터를 확대했으며, 벤치마크 기준 지능 수준은 3배 향상됐다.
  • 문맥 길이는 260K에서 100만 토큰으로 확장했고, 입출력 토큰당 각각 0.20달러, 0.70달러이며 출시 초기에는 50% 할인(입력 0.10달러, 출력 0.35달러)을 제공한다.
  • 웹 브라우징 에이전트, 실시간 검색, 고객 지원 등 저지연 애플리케이션에서 머큐리 3를 활용 중이며, Mind2Web 네비게이션 작업 50개 중 50%를 완료해 GPT-6.1-Sol보다 높은 성공률을 보였다.
  • 실시간 교육 튜터링 사례에서 학생 피드백이 약 1초 내에 반환되며 이전 모델과 동등 이상의 품질을 제공한다.
  • 스마트 글래스 검색 테스트에서 중앙값 생성 시간 0.9초, 전체 응답 시간 2.2초를 기록했다.
  • 고객 지원 챗봇 테스트에서 다른 모델 대비 낮은 지연 시간과 높은 평가 점수를 동시에 달성했다.
  • 머큐리 보이스는 음성 응답 첫 토큰까지의 시간을 최소화하도록 커스터마이징했고, 머큐리 디사이드는 고용량 분류 작업을 위해 설계되어 JevBench와 LegalBench 벤치마크에서 다른 모델을 능가한다.
  • Inception API Platform, OpenRouter, Baseten, Vercel을 통해 제공되며 OpenAI API와 호환된다.
  • 기업 배포는 전용 용량, 자동 스케일링, 규정 준수 제어, 맞춤형 데이터 보관을 지원한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗