LLM이 신경망 가중치를 직접 편집할 수 있다는 주장의 허점
원제 LLMs are not superhuman at reading and writing neural network weights
104 포인트댓글 8
Key Point
논문의 주요 결과가 실제로는 숙련된 인간 연구자도 수행 가능한 작업이며, LLM의 신경망 편집 능력이 AI 연구 방식을 혁신할 새로운 능력이 아니라는 점을 명확히 한다.
핵심 요약
- 최근 논문에서 GPT-4 Astra가 신경망의 가중치를 직접 읽고 수정할 수 있다고 주장하며 이를 초인적 능력으로 표현했다.
- Astra는 작은 신경망의 가중치만 보고 학습된 게임을 파악하고 가중치를 직접 조정했으며, 0.8B 크기의 Qwen 모델의 수학 능력을 개선했다.
- 게임 식별 작업은 실제로는 간단한 것으로, 모델의 입력 채널이 8×8 그리드 셀에 직접 연결되고 '에이전트', '움직이는 물체' 같은 레이블이 있어 파이썬 3줄로 계산 가능하다.
- Astra가 이 과정을 머릿속으로 계산한 것은 인상적인 정신 계산이지만, AI 연구의 혁신적 능력은 아니다.
- Qwen 모델은 32k 토큰 이후 루프에 빠져 수학 문제를 풀지 못했는데, Astra는 루핑을 일으키는 가중치를 식별하고 제거하는 방식으로 문제를 해결했다.
- 이는 인간의 숙련된 연구자가 할 수 있는 절차(루프 텍스트와 정상 텍스트 비교, 기여도 측정, 상위 가중치 제거 테스트)와 동일했다.
- LLM의 가중치 직접 편집 능력은 바이너리 코드 생성과 유사한 '인상적인 트릭'이지만, 신경망을 업데이트하는 최선의 방법은 정상적인 학습 훈련이다.
- 지능형 LLM이 AI 연구에 기여한다면 가중치를 마법처럼 조정하는 것이 아니라 학습 프로세스를 개선하는 방식으로 도움이 될 것이다.