조 매개변수 모델도 3분 안에 동기화, NeMo-DCR 논문 발표
원제 NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale
추천 13댓글 2
Key Point
조 개 매개변수 모델의 정책 리핏 시간을 87분에서 2~3분으로 단축하는 기술로, 대규모 에이전트형 강화학습의 실제 운영 가능성을 크게 높인다.
핵심 요약
- 에이전트형 강화학습에서 정책 업데이트 후 롤아웃 클러스터로 전송하는 1조 개 매개변수 체크포인트가 현재 87.5분이 걸린다.
- 매개변수 수정(refit) 시 BF16 학습에서 단계당 약 1%의 가중치만 변한다는 측정을 기반으로, NeMo-DCR은 변경값만 전송하면서 비트 단위로 정확히 일치하는 결과를 보장한다.
- 학습 샤드에서의 변경을 고정 아핀 매핑으로 체크포인트의 정규 좌표계로 투영하고, 잔여 변환으로 나머지를 처리하며, 수신 런타임의 기본 로더가 모든 변경을 저장소에 배치한다.
- 압축 가능한 XOR 마스크는 투영 및 로더가 저장된 비트를 보존하는 아핀 변경을 전달하고, 덮어쓰기는 나머지를 처리하며, 수신자는 모두를 제자리에 적용하고 재시도는 부분 쓰기를 덮어쓴다.
- 공동 커밋이 정책을 다음 델타의 기준선에 바인딩하며, 객체 저장소나 릴레이 트리가 델타 구성 중 페이로드를 스트림 처리하므로 클러스터 간 collective가 불필요하다.
- 30억~1조 모델에서 NeMo-DCR은 전체 체크포인트 전송 대비 3~5% 변경률에서도 12~40배 빠르며, 릴레이 트리 기반 1조 모델 리핏은 150초로 단축되어 조 단위 에이전트형 강화학습의 크로스클러스터 동기화를 실무적으로 가능하게 한다.