GPT-6 Astra가 신경망 가중치를 읽고 수정해 모델 성능 개선
원제 Astra can read and write weights to improve Qwen
1,031 포인트댓글 320
Key Point
LLM이 신경망 최적화라는 미분 불가능한 영역에 직접 개입할 수 있다는 것을 처음 대규모로 입증하며, 향후 해석 가능성과 모델 튜닝 방식에 근본적 변화를 가져올 가능성을 시사한다.
핵심 요약
- 최신 LLM이 신경망 가중치를 직접 읽고 쓸 수 있는 'Weight-Space Programming' 기법을 연구한 결과를 공개했다.
- GPT-6 Astra는 게임 플레이 정책의 가중치만 보고 어떤 게임인지 식별했으며, 환경 피드백 없이도 PPO로 1억 스텝 학습한 네트워크보다 강한 게임 AI를 처음부터 작성했다.
- Qwen3.5-0.8B의 수학 추론을 개선하기 위해 Astra는 반복 루프를 유발하는 가중치 방향을 찾아 8억 개 중 0.016%(13만 1,072개)만 수정했다.
- 이 수정으로 MATH-500 점수가 7.9%에서 48.1%로 올랐고, GSM8K는 13.8%에서 67.1%로, 명령 수행 능력(IFEval)은 21%에서 62.3%로 향상됐다.
- 작은 네트워크 실험에서는 Python 코드, 일본어 로마자, 영어 각각 학습된 언어 모델을 가중치로만 식별했으며, 주의 헤드의 역할도 정확히 파악했다.
- 이 기법은 구배 강하 없이 자동 미분이 가능한 신경망의 가중치를 LLM이 추론을 통해 최적화하는 새로운 패러다임을 보여준다.
- 다만 Gemma 3 270M처럼 반복 루프 같은 특정 장애가 없는 모델의 경우 일반적 추론 오류는 식별했으나 성능 개선에 실패했으며, LLM의 컨텍스트 길이와 도구 효율성이 현재의 제약으로 남아있다.
- 연구진은 모든 실험의 완전한 로그와 Astra의 추론, 실행 코드, 생성한 네트워크를 GitHub에 공개했다.