Hacker News인프라 · 데브옵스

구글, 에이전트 시대 맞춰 TPU 8tx·8i Max 공개

원제 TPUs

155 포인트댓글 22
Key Point

에이전트 AI 시대에 필요한 하드웨어 아키텍처가 극적으로 바뀌고 있으며, PyTorch 네이티브 지원 등으로 TPU 접근성이 대폭 개선돼 기존 GPU 중심의 개발 환경을 재편할 가능성이 있다.

핵심 요약

  • 구글이 8세대 TPU 포트폴리오에 TPU 8tx와 TPU 8i Max를 추가해, 한 해 동안 네 개의 새로운 TPU 시스템을 출시했다.
  • TPU 8t는 2.7배 더 빠른 학습 성능을, TPU 8i는 80% 더 나은 추론 가격 대비 성능을 제공한다.
  • TPU 8tx는 민감한 데이터 보호를 위해 하드웨어 수준의 암호화를 탑재하고, AMD EPYC CPU와 결합해 추론 시 2배 낮은 지연 시간을 달성한다.
  • TPU 8i Max는 두 개의 TPU 8i 칩을 하나의 패키지에 통합해 메모리 대역폭을 2배 증가시켜 큰 맥락 창과 높은 계산 밀도를 지원한다.
  • TorchTPU를 오픈소스화해 PyTorch 개발자가 코드 수정 없이 TPU를 사용할 수 있으며, vLLM·SGLang 같은 추론 엔진도 네이티브 지원한다.
  • 새로운 TPU 에이전트 스위트(베타 버전)는 Claude Code·Cursor 등 개발 도구에 플러그인돼 TPU 온보딩을 자동화한다.
  • Agent Compute Engine은 아이들 세션을 자동 일시 중단·재개해 자율 에이전트의 인프라 비용을 절감한다.
  • TPU Sync는 칩 HBM, 호스트 DRAM, 저장소, 네트워크를 단일 메모리 계층으로 통합해 KV 전송 지연과 첫 토큰까지의 시간을 90% 이상 단축한다.
  • Cloud Pathways는 Google Kubernetes Engine(GKE)에서 정식 제공되며, 여러 TPU 슬라이스를 하나의 로컬 머신처럼 관리한다.
  • GKE 동적 슬라이싱은 광학 회로 전환 기술로 TPU 토폴로지를 즉시 재구성해 작업 시작 시간을 최대 5배, 장애 복구를 4.5배 단축한다.
  • 구글은 Gemini와 AlphaChip을 이용해 칩 레이아웃을 수주 단위에서 수시간으로 단축하는 AI 기반 설계를 활용한다.
  • TPU는 이미 100여 개 고객을 확보했으며, 선도 연구소·거래사·소매업체·대학 등이 사용한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗