무게 공간 프로그래밍: 라마 27B도 신경망 가중치를 해석할 수 있다
Key Point
LLM이 코드나 도구 없이 신경망의 실제 가중치를 읽고 해석할 수 있는 능력의 한계와 범위를 명확히 하는 기술 분석으로, 최근 논문에 대한 과장된 해석을 바로잡는다.
핵심 요약
- 최근 논문 'Sparks of Weight-Space Programming'은 LLM이 기계학습 모델의 실제 가중치를 텍스트로 읽고 수정할 수 있다는 것을 보여줬고, GPT-6 Astra가 이를 시연했다.
- 논문의 핵심은 LLM이 코드나 도구 없이 신경망 가중치만 보고 그 네트워크의 목적을 파악하고, 작은 게임 네트워크를 작성해 PPO로 1억 스텝 학습한 네트워크를 능가할 수 있다는 것이다.
- 또 다른 예로 Qwen3.5-0.8B의 수학 능력을 개선하도록 요청하자, Astra는 가중치의 0.016%만 수정해 MATH-500 점수를 7.9%에서 48.1%로 올리고 IFEval을 3배 향상시켰다.