무게 공간 프로그래밍: 라마 27B도 신경망 가중치를 해석할 수 있다

핵심 요약

• 최근 논문 'Sparks of Weight-Space Programming'은 LLM이 기계학습 모델의 실제 가중치를 텍스트로 읽고 수정할 수 있다는 것을 보여줬고, GPT-6 Astra가 이를 시연했다.
• 논문의 핵심은 LLM이 코드나 도구 없이 신경망 가중치만 보고 그 네트워크의 목적을 파악하고, 작은 게임 네트워크를 작성해 PPO로 1억 스텝 학습한 네트워크를 능가할 수 있다는 것이다.
• 또 다른 예로 Qwen3.5-0.8B의 수학 능력을 개선하도록 요청하자, Astra는 가중치의 0.016%만 수정해 MATH-500 점수를 7.9%에서 48.1%로 올리고 IFEval을 3배 향상시켰다.
• Weight-Space Programming이란 LLM이 신경망의 각 부분이 계산하거나 해야 할 것을 추론으로 파악하고 그에 따라 가중치를 변경하는 것을 의미한다.
• Matthew Honnibal과 Sean Goedecke는 이 논문이 도구 없는 가중치 이해와 도구를 사용한 가중치 수정이라는 두 가지 다른 주제를 혼동시킨다고 비판했다.
• 저자는 도구 없이 가중치를 이해하는 부분이 더 흥미롭다고 보고, 이를 집중 조사했다.
• 논문은 LLM이 가중치로부터 모델의 행동을 이해할 수 있는지 묻기 위해 Breakout, Pong, Pac-Man, Freeway 게임을 하도록 학습된 4개 신경망의 가중치를 부동소수점 형태로 LLM에 제시하고 어느 게임인지 맞추도록 했다.
• Kimi K3.1 Pro는 9분 41초와 19,493개의 추론 토큰을 사용해 Breakout을 올바르게 식별했다.
• Qwen 3.8 27B는 랩톱에서 46분 12초와 43,506개의 추론 토큰을 사용해 Pac-Man을 정확하게 식별했으며, Pong도 1시간 4분 54초 만에 맞췄지만, 더 생소한 Freeway는 실패했다.
• 모델의 추론 흔적은 복잡하지만, 인간이 충분한 시간과 노력이 있다면 동일하게 도달할 수 있는 수준이다.
• 저자는 이 논문이 흥미롭지만, '소스 코드 시대가 끝났다' 또는 '미래는 이해할 수 없는 기계가 모델 가중치를 스스로 편집하는 것'이라는 광범위한 해석은 정당하지 않다고 본다.