AI가 설계한 오픈소스 AI 가속기, openTPU 공개

핵심 요약

• AI 에이전트가 설계한 오픈소스 AI 가속기 openTPU를 공개했으며, 하드웨어 설계(SystemVerilog)부터 호스트 소프트웨어까지 한 저장소에 담아 교육용으로도 활용 가능하게 구성했다.
• Xilinx Kintex-7 FPGA 카드(DDR3 2채널)에서 LFM2.5-230M int8 모델 기준 디코딩 52.3 tok/s, 프리필 335.4 tok/s 성능을 달성했고, 10개 현대 모델의 실제 가중치로 테스트해 시뮬레이터와 비트 정확도로 일치함을 확인했다.
• 4비트 양자화(FP4 블록 스케일) 지원으로 토큰당 바이트를 약 1/3 감소시키고 디코딩 속도를 40~45% 높였으며, int8 헤드는 정확도 유지를 위해 유지했다.
• 혼합 전문가 모델(MoE)은 4GB 카드 제약을 초과하면 호스트 스토리지에서 전문가를 PCIe 링크 속도로 스트리밍하여 처리하며, LFM2.5-8B-A1B는 10.6 tok/s, Qwen3.5-35B-A3B는 3.95 tok/s 성능을 보였다.
• 매트뮬 연산부터 FPGA 전자 회로까지 전 과정을 학습할 수 있도록 ISA 시뮬레이터와 RTL을 공개했으며, Python pip 설치로 시뮬레이터에서 바로 테스트 가능하다.
• 명시적 데이터 이동 지시어 구조로 캐시가 없고 히든 스케줄링이 없어서 트레이스로 정확히 사이클 분포를 파악할 수 있으며, 브라우저 프로파일러 Lens로 런타임을 시각화할 수 있다.
• Hugging Face 모델의 탐욕 토큰과 로짓을 검증하는 도구를 제공하며, 양자화된 금표와 비교했을 때 상위-1 일치율 80~99.2%, KL 다이버전스가 바닥값의 0.82~1.16배로 높은 정확도를 유지했다.
• DDR3 읽기 효율이 82~85% 수준에 머물러 있고(피크 대비), Vivado 타이밍 마진이 +0.032ns로 극한의 여유만 남아 있으며, 앞으로 DRAM 효율 개선과 더 빠른 프리필 지원을 계획 중이다.
• Apache 2.0 라이선스로 공개했으며 ISA, 시뮬레이터, RTL 변경 시 pytest 통과 필수이고, FPGA 없이도 Python과 Verilator로 대부분 기여할 수 있다.