LLM 학습 성능 자동 최적화하는 에이전트 InfraRSI 공개
Key Point
대규모 LLM 학습 시 메모리 충돌과 수치 오차를 자동으로 해결하면서 성능을 30% 이상 끌어올리는 방식으로, 학습 클러스터 운영 효율성의 새로운 기준을 제시한다.
핵심 요약
- 분산 LLM 학습은 발사 설정·연산자 커널·통신 스케줄이 긴밀하게 결합되어 단일 수정이 OOM·컴파일러 충돌·측정 잡음·수치 오차를 야기하는 문제가 있다.
- InfraRSI는 에이전트형 도구로, 사용자 명령을 다섯 단계 워크플로우(초기화·진단·실행·검증·보고)를 통해 검증된 학습 최적화로 변환한다.
- 초기화 단계에서는 수정 가능한 범위와 워크로드·손실·타이밍 불변식에 대한 고정 계약을 설정하여 보상 해킹을 방지한다.