Hugging Face 논문AI · 머신러닝

AI가 GPU 커널 최적화 경쟁 1위 석권

원제 CompoundingKernel: Self-Improving from Zero to First

추천 11댓글 2Qian Qu, Hongyang Wang, Wenbo Chen 외
Key Point

생성형 AI가 고난도 시스템 프로그래밍 작업에서 사람의 최적화된 코드를 압도하면서, AI 기반 커널 개발의 실현 가능성을 보여준다.

핵심 요약

  • CompoundingKernel은 LLM 기반 자기개선 에이전트 시스템으로, 검색을 통해 GPU 커널을 작성한다.
  • NVIDIA B200용 SOL-ExecBench의 L1, L2, Quantization 보드에서 모두 1위를 차지했으며, L1 보드에서는 2026-10-27부터 (2026-11-07 하루를 제외하고) 1위를 유지하고 있다.
  • 235개 문제 모두에서 검증된 올바른 커널을 생성했고, 공개 보드의 209개 문제에서는 기준 베이스라인보다 4.40배 빠르다.
  • 검색은 처음부터 시작된다: 에이전트는 각 문제의 PyTorch 정의만 주어지고 참조 커널이나 공식 점수는 주어지지 않는다.
  • LLM 컨트롤러가 모든 올바른 커널과 그 계보를 보관한 아카이브를 읽고, 부모 커널을 선택하거나 새로운 설계를 제안한 뒤 병렬 자식 에이전트들에게 방향을 준다.
  • 모델 외부의 검사 체계가 정확성을 판단한다.
  • 동일한 벽시간에서 코딩된 UCB 스타일 트리 알고리즘을 38개 문제 중 35개에서 이겼는데, 이는 2.4배 많은 올바른 시도를 했기 때문이다.
  • 천 개 이상의 에이전트가 동시에 실행되었고, 한 가지 웜 재시작 최적화로 평가율을 3.6배 높였다.
  • 신뢰할 수 있는 측정의 비율이 에이전트 개수보다 이러한 검색의 확장성을 더 제한하는 요소임을 발견했다.
  • 코드와 커널은 공개되어 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗