GPU 커널 최적화 기술 이전 능력 측정하는 벤치마크
원제 MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
추천 17댓글 2
Key Point
GPU 커널 최적화 에이전트의 학습 경험이 실제로 얼마나 전이 가능한지 체계적으로 측정하는 새로운 평가 기준을 제시하며, DSL 간 기술 이전의 한계를 드러낸다.
핵심 요약
- GPU 커널 최적화 에이전트가 배운 경험을 재사용할 수 있는지 측정하는 MetaKernelBench 벤치마크를 제안했다.
- 벤치마크는 74개 문제로 구성되며, CuTe DSL과 TIRx 두 가지 DSL로 같은 문제를 다르게 표현하여 한 DSL에서 배운 기술이 다른 DSL에서 도움이 되는지 평가한다.
- 에이전트는 각 DSL 변형에 대해 독립적으로 시도한 후 배운 내용을 자연어 스킬로 정리하고, 이를 다른 DSL의 시도에 입력으로 제공한다.
- 기존 커널 벤치마크는 정확성과 속도만 측정하지만, MetaKernelBench는 경험의 재사용 가치를 추가로 측정한다.
- 6개 모델을 테스트한 결과 스킬 전이의 효과는 -19%에서 +29% 범위로 들쭉날쭉했으며, 모든 모델에서 16~45%의 문제에서 성능이 저하되었다.
- 중요한 발견은 전이 효과가 소스 시도의 절대 성공 여부가 아니라 소스와 타깃의 상대 성능 차이를 따른다는 것으로, 소스가 타깃보다 우수할 때 71% 비교에서 개선되고 열등할 때 54% 비교에서 저하된다.