AI 에이전트가 FPGA 추론칩을 33배 가속화하다
원제 Vibecoding an inference chip
102 포인트댓글 35

Key Point
하드웨어 개발이 AI 에이전트로 급속도로 접근 가능해지면서, 엔지니어링 팀의 역량이 획기적으로 확장되는 시점을 보여준다.
핵심 요약
- 저자는 DeepGrove의 삼진법 가중치 아키텍처를 AWS F2 FPGA 인스턴스(16GB HBM)에 구현하기 위해 AI 코딩 에이전트를 활용했다.
- 에이전트가 C++과 Verilog로 약 3M줄의 코드를 작성했으며, $10,000의 토큰 비용으로 수백 개 실험을 거쳐 추론 속도를 초당 6.43 토큰에서 213 토큰으로 33배 향상시켰다.
- 최적화는 호스트 오버헤드 감소, 버스트 어텐션, 병렬 라우터, 글루 엔진, 스펙큘레이티브 디코딩, 웨이트 패킹, 헤드 로더 개선 등 14개 단계를 거쳐 각 단계마다 1.5배씩 복합 개선되었다.
- DeepGrove 창업자가 제공한 설계 가이드는 대부분 에이전트가 이미 계획했던 것이었으나, 반복 속도를 높이기 위한 프로세스 조언(장시간 시뮬레이션 회피)이 가장 실질적이었다.
- 최종 FPGA 구현(r9)은 시간당 $1.98 비용으로 초당 213 토큰을 처리해 같은 가격 CPU(129.5 tok/s)보다 1.65배 빨랐고, 1 스레드 기준 195배 향상을 달성했다.
- 에이전트는 프롬프트 품질보다는 모호한 지시보다 명확한 목표에 반응했으며, 에이전트의 초기 설계가 외부 조언과 무관하게 대부분 필요한 아이디어를 포함했다.
- 컨텍스트 길이별 성능 평가에서 초기 단계(r5~r8)는 컨텍스트가 길어질수록 성능이 저하되었으나, 최종 r9 이미지는 초단 컨텍스트에서 성능을 개선했다.
- 저자는 이 모델이 프로덕션용 삼진법 FPGA 아키텍처는 아니지만, AI 에이전트의 하드웨어 개발 능력으로 과거 불가능했던 새로운 연구 방향을 열었다고 평가했다.