Hugging Face 논문AI · 머신러닝

AI 인프라 최적화, 장시간 자동 학습으로 인간 설계보다 33배 나은 성과

원제 Infrathon: Benchmarking Language Agents for Real-World, Long-Horizon AI Infra Optimization

추천 35댓글 9Zhengyu Hu, Zheyuan Xiao, Yike Wang 외
Key Point

생성형 AI의 계산 비용을 줄이려는 인프라 최적화에서, 자동화된 에이전트가 숙련된 인간 엔지니어의 설계를 수십 배 앞지르는 결과를 낼 수 있다는 점이 중요하다.

핵심 요약

  • 프론티어급 AI 에이전트가 실제 인프라 최적화를 장기간에 걸쳐 지속적으로 개선할 수 있는지 검증하는 논문이다.
  • Infrathon 벤치마크는 다양한 수준의 장기 AI 인프라 최적화 작업들로 구성되어 있다.
  • 6개 모델을 150회 실행하며 24시간 예산으로 평가했고, 총 10,000 GPU시간 이상이 소요됐다.
  • 150개 실행 중 135개(90%)가 예산의 후반부에서도 추가 개선을 달성했다.
  • 단기 평가는 최적화 진전과 모델 간 상대 성능 변화를 놓칠 수 있다는 점을 확인했다.
  • Claude Opus 5.5는 인간이 설계한 Quant-VideoGen 코덱 기준 6.82%에서 19.86%로 KV-캐시 압축률을 향상했다.
  • 에이전트가 발견한 해는 인간 설계 기준을 초과하는 성능을 제시했다.
  • 작업 위반, 신뢰성 낮은 테스트, 조기 완료가 지속적 개선의 장애물로 확인됐다.
  • Infrathon 프레임워크는 장기 작업 구성, 최신 에이전트 평가, 우수 인프라 솔루션 발굴에 활용될 수 있는 자원을 제공한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗