에지 기기용 LLM 커널 생성 벤치마크 공개
원제 EdgeKernelBench: Unified LLM-Driven Kernel Generation for Edge Backends
추천 13댓글 2
Key Point
에지 디바이스 배포는 서버와 달리 하드웨어가 다양하고 제약이 크기 때문에, LLM으로 생성한 커널을 실제로 잘 동작하게 하려면 새로운 평가 방식과 최적화 전략이 필요하다는 점이 중요하다.
핵심 요약
- LLM이 서버 GPU용 커널을 생성하는 것은 이미 연구되었으나, 하드웨어가 이질적이고 소프트웨어 스택이 단편화된 에지 배포 환경에서 다양한 백엔드를 대상으로 한 커널 생성은 체계적으로 연구되지 않았다.
- EdgeKernelBench는 통합 IR 배포 프레임워크와 에지 워크로드용 계층적 벤치마크를 결합하여, 재사용 가능한 계산·스케줄링·메모리 결정을 통합 IR로 캡처하고 컴파일러 인터페이스를 통해 각 백엔드에 연결한다.
- 벤치마크는 개별 연산자부터 컴팩트 모델 그래프까지 점진적으로 확대된 프로그램 범위를 포함하며, 대표적인 에지 애플리케이션 도메인을 아우른다.
- TVM을 레퍼런스 컴파일러로 삼아 이질적인 에지 백엔드에서 검증한 결과, 단일 생성 시도에서 최고 성능 모델은 64.5% Correct@1을 달성했으나 25.5% Fast@1.0만 확보하여, 기능 정확성이 성능 향상으로 일관되게 변환되지 않음을 보여준다.
- 이를 해결하기 위해 계층화된 IR을 통해 최적화를 조직하는 LEKA(Layered Edge Kernel Agent)를 제안하였고, 평가 부분집합에서 LEKA는 43.5% Fast@1.0을 달성하여 직접 생성(13.0%)과 Claude Code(26.1%)를 크게 앞선다.
- LEKA와 Claude Code는 동일한 기반 모델과 최적화 예산을 사용하며, EdgeKernelBench와 LEKA는 함께 에지 백엔드 전역에서 LLM이 생성한 커널의 통합 평가 및 계층화된 최적화를 지원한다.