LLM 학습 성능 자동 최적화하는 에이전트 InfraRSI 공개
원제 InfraRSI: Harnessing Recursive Self-Improvement for Training Infrastructure
추천 32댓글 5
Key Point
대규모 LLM 학습 시 메모리 충돌과 수치 오차를 자동으로 해결하면서 성능을 30% 이상 끌어올리는 방식으로, 학습 클러스터 운영 효율성의 새로운 기준을 제시한다.
핵심 요약
- 분산 LLM 학습은 발사 설정·연산자 커널·통신 스케줄이 긴밀하게 결합되어 단일 수정이 OOM·컴파일러 충돌·측정 잡음·수치 오차를 야기하는 문제가 있다.
- InfraRSI는 에이전트형 도구로, 사용자 명령을 다섯 단계 워크플로우(초기화·진단·실행·검증·보고)를 통해 검증된 학습 최적화로 변환한다.
- 초기화 단계에서는 수정 가능한 범위와 워크로드·손실·타이밍 불변식에 대한 고정 계약을 설정하여 보상 해킹을 방지한다.
- 진단 단계는 기준 단계를 프로파일링하고 클러스터 잡음을 교정한다.
- 실행 단계는 발사 파라미터와 코드 패치를 동시 최적화한 후 상위 후보를 기준과 재검증하고 결과를 크로스 하드웨어 경험 저장소에 기록한다.
- 보고 단계는 소스 경로 감사·실패 시도 비용 추적·검증된 변경사항 커밋을 수행한다.
- 단일 최적 설정에서 탐욕적으로 진행하는 대신, 다양한 경험 기반 초기 구성에서 출발하며 OOM을 포함한 모든 시도에서 전역 실행 시간과 제한된 피크 메모리 모델을 학습한다.
- 이 모델들을 통해 설정별 메모리 비용을 계산하고 실시간 실행에서 LLM 사전 정보를 개정하며 메모리 집약적 최적화를 메모리 절약 기법 및 검증된 코드 패치와 짝지어 진행한다.
- 네 가지 단일·다중 노드 조밀형 및 MoE LLM 워크로드에서 최대 2.75배 속도 향상을 달성했으며, Model FLOPs Utilization을 17.4%에서 30.0%로 향상시켰다.
- 기존 튜너와 코딩 에이전트를 능가하면서도 GPU 간 경험 이전이 가능하다.
- InfraRSI는 실행 중 사전 정보를 온라인으로 개정하고 클러스터 간 경험을 증류하는 이중 수준의 재귀 자기 개선 루프를 형성하여 기초 모델 확장을 추진한다.