Hugging Face 논문AI · 머신러닝오늘의 주요

가정용 PC에서 대규모 MoE 모델 추론을 빠르게 하는 Tideway 시스템

원제 Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices

추천 67댓글 3Yifei Wang, Tsun-yu Yang, Yechen Xu 외
Key Point

가정용 PC에서도 개인 데이터를 지키면서 대규모 AI 모델을 빠르게 실행할 수 있게 하는 실용적인 해결책으로, 중앙 서버 의존도를 줄이려는 개발자와 사용자에게 직접적인 성능 개선을 가져온다.

핵심 요약

  • LLM 에이전트가 AI 애플리케이션의 주요 패러다임이 되면서, 개인정보 보호·API 비용·추론 효율을 위해 대규모 Mixture-of-Experts(MoE) 모델을 개인 PC에서 로컬 실행하려는 수요가 증가하고 있다.
  • 가정용 기기는 GPU VRAM과 호스트 RAM이 모두 제한적이어서, MoE 가중치가 VRAM·호스트 RAM·SSD에 걸쳐 분산되는 문제가 발생한다.
  • 기존 시스템들은 이 메모리 계층을 독립적 캐시로 취급해 각 계층 간 경합(thrashing)을 일으키고 성능을 떨어뜨린다.
  • Tideway는 호스트 RAM과 GPU VRAM을 통합 메모리 풀로 관리하고, prefill과 decode의 서로 다른 접근 패턴에 맞는 메모리 레이아웃과 expert paging 최적화 CUDA Graph 실행 엔진을 결합한다.
  • 평가 결과, 최신 MoE 모델과 가정용 하드웨어에서 Tideway는 엔드-투-엔드 지연 1.97배, 최초 토큰까지 시간(TTFT) 2.40배, decode 처리량 1.61배로 기존 최고 성능 시스템을 능가한다.
  • 소스 코드는 GitHub에서 공개되어 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗