화웨이, 중국 자체 칩에서 285B 파라미터 대형언어모델 훈련 성공
원제 TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks
추천 161댓글 3
Key Point
중국 국내 칩과 프레임워크만으로 285B 규모 모델 훈련에 성공한 사례로, 외부 고도체 의존도 낮추려는 기술 자립 추진을 보여준다.
핵심 요약
- 화웨이가 텔레챗 계열을 확장한 싱 4(Xing 4) 대형언어모델을 발표했다.
- 무겐 프로세서 910C 8,192개로 285억 파라미터 모델을 사전학습했다.
- 희소 활성화, 주의 메커니즘, 모델 깊이·너비, 추측적 디코딩으로 계산과 메모리 오버헤드를 균형 맞췄다.
- MindSpore 하이퍼패러렐 인프라를 기반으로 위상 인식 하이브리드 샤딩, 분산 옵티마이저 최적화, 긴 시퀀스 작업 관리를 구현했다.
- CPU 친화성과 코어 격리로 호스트 스케줄링 간섭을 줄였다.
- 텔레짐이라는 에이전트 실행 플랫폼을 개발해 에이전트 훈련, 평가, 궤적 구성을 통합했다.
- 비동기 실행, 제한된 오버샘플링, 부분 롤아웃으로 작업 간 이질성을 처리하면서 정책 업데이트 사이에 궤적 연속성을 유지했다.