신경망 파라미터를 직접 수정하는 WSP 기법 가능성과 한계 분석
Key Point
신경망을 역전파 없이 직접 수정하는 새로운 적응 방식의 가능성과 실제 한계를 실증적으로 밝혀, 모델 편집 연구의 방향을 제시한다.
핵심 요약
- Weight-Space Programming(WSP)은 신경망의 가중치를 직접 검사·수정하는 방식으로 기울기 기반 적응의 대안을 제시한다.
- 7개 벤치마크와 2개 모델 규모(Qwen3.5-0.8B, Qwen3.5-9B)에서 16개 편집 궤적으로 체계적 조사를 수행했다.
- 극히 제한된 부위 수정으로도 큰 성능 향상이 가능해, MATH-500에서 29.45%p, GPQA Diamond 4.42%p, IFEval 36.72%p, SciBench 17.11%p 개선을 달성했다.