LLM이 신경망 가중치를 직접 편집할 수 있다는 주장의 허점
Key Point
논문의 주요 결과가 실제로는 숙련된 인간 연구자도 수행 가능한 작업이며, LLM의 신경망 편집 능력이 AI 연구 방식을 혁신할 새로운 능력이 아니라는 점을 명확히 한다.
핵심 요약
- 최근 논문에서 GPT-4 Astra가 신경망의 가중치를 직접 읽고 수정할 수 있다고 주장하며 이를 초인적 능력으로 표현했다.
- Astra는 작은 신경망의 가중치만 보고 학습된 게임을 파악하고 가중치를 직접 조정했으며, 0.8B 크기의 Qwen 모델의 수학 능력을 개선했다.
- 게임 식별 작업은 실제로는 간단한 것으로, 모델의 입력 채널이 8×8 그리드 셀에 직접 연결되고 '에이전트', '움직이는 물체' 같은 레이블이 있어 파이썬 3줄로 계산 가능하다.