DeepX 2세대 AI칩, 100B 모델 5W 이하 추론 달성
원제 DeepX claims inference up to 100B parameters at less than 5 W
136 포인트댓글 22
Key Point
엣지 AI 칩 시장에서 5W 초저전력으로 대규모 언어모델을 구동할 수 있는 실질적 솔루션이 나타났고, Samsung PIM 기술과의 결합으로 차세대 AI 가속 방식을 제시하고 있기 때문이다.
핵심 요약
- 한국 스타트업 DeepX가 삼성의 커스텀 LPDDR5x-PIM 기술을 탑재한 2세대 AI 가속칩 DX-M2를 테이프아웃했으며, 100억 파라미터 모델 추론을 5W 이하에서 구동할 수 있다.
- DX-M2는 메모리 대역폭을 1세대 50GB/s에서 150GB/s로 3배 증가시켰고, NPU 전력 효율을 2배 높이고 2nm 공정으로 옮기면서 80 TOPS 성능을 달성했다.
- 20억~100억 파라미터 모델을 초당 10~30 토큰으로 처리하며, 드론·로봇·배터리 기기 등 엣지 디바이스에 생성형 AI를 가져오는 것을 목표로 한다.
- 처리 중심 메모리(PIM)는 GEMV 같은 메모리 제약 작업을 메모리칩 내부에서 수행해 유효 대역폭을 늘리고 접근 시간을 단축한다.
- DeepX 시뮬레이션에 따르면 DX-M2에서 LPDDR5x-PIM으로 GEMV 작업을 오프로드할 경우 Llama3.1-8B 기준 초당 토큰이 6.7배 증가하지만, 전력 소비는 2.7배 늘어난다.
- 컴파일러는 실제 환경 테스트를 위해 하드웨어 모듈을 개발하는 중이며, PIM 모드에서는 같은 전력 내 2배 성능 향상을 목표로 하고 있다.
- DX-M2는 AI PC, 로봇공학, 자동차 분야를 목표로 하며, Nvidia Isaac 대신 DeepX Newton으로 마이그레이션할 때 API 이름만 바꾸면 같은 소스코드로 동작한다.
- DX-M1은 현재 양산 중이며 로봇, 드론, 스마트팩토리, 감시카메라, 항공우주·방위, 헬스케어, IoT 등 100개 이상의 구매 주문을 받았다.
- 일본이 올해 주요 시장으로 부상했으며 10개 이상의 선도 기업이 평가 중이고, 미국도 강세이며 한국·베트남·싱가포르에서 스마트시티 프로젝트를 진행 중이다.
- DeepX는 5W 칩으로 100억 파라미터 모델을 배포하면 AI 데이터센터 트래픽을 80% 이상 줄일 수 있어 서버 추가 없이 5배 큰 인프라를 구성할 수 있다고 본다.
- 3세대 DX-M3는 2028년 출시 예정으로 칩릿 기반이며, 1 ePOPS(INT8) 성능과 LPDDR6-PIM을 목표로 자동차·휴머노이드 로봇 시장을 겨냥한다.
- DX-M2 샘플은 2027년 3월 예상이며 대량생산은 2027년 가을을 목표로 한다.