Hugging Face 논문AI · 머신러닝오늘의 주요

화웨이 NPU 커널 최적화 벤치마크 'AscendGYM' 공개

원제 AscendGYM: A Cost-Aware Kernel Optimization Benchmark for Real-World Workloads on Ascend NPUs

추천 92댓글 3AI Training Platform Team, Bingwei Zhang, Jing Li 외
Key Point

LLM 추론 비용이 높아지는 상황에서 토큰 가격과 성능을 함께 고려한 커널 최적화 평가 방식이 실제 엔지니어들의 의사결정에 직접 반영될 수 있다.

핵심 요약

  • 화웨이 Ascend NPU에서 LLM 훈련과 추론을 위한 커널 최적화 벤치마크 'AscendGYM'을 공개했다.
  • 기존 벤치마크가 커널 생성에 중점을 뒀다면, 이번 벤치마크는 실제 워크로드의 입력 조건에서 기존 구현을 최적화하는 능력을 측정한다.
  • 48개의 커널을 3단계 난이도로 준비했으며, 각 커널의 테스트는 실무 훈련·추론 작업에서 수집한 데이터 타입과 텐서 형태를 사용한다.
  • 모델 평가와 모델-하네스 평가 두 가지 모드를 지원하며, 훈련된 모델과 커스텀 에이전트 모두의 최적화 능력을 측정할 수 있다.
  • 실제 파이프라인에서 Ascend 커널을 호출하는 방식을 근접하게 재현하는 완전한 실행 환경을 제공한다.
  • 모델 평가 모드에는 검색 조율과 경험 축적 기능을 갖춘 내장 하네스를 포함한다.
  • 새로운 지표 'Speedup-Token Score(STS)'를 제안해 토큰 비용 대비 성능 향상을 정량화한다.
  • STS는 속도 개선과 비용을 함께 고려해 허용 가능한 예산 범위 내에서 실용적인 커널 최적화 능력을 평가한다.
  • 벤치마크는 GitHub의 'SLAI-AITP/AscendGYM'에서 공개되었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗