선형 계획법으로 LLM 가중치 최적화하기
Key Point
LLM 가중치 직접 편집의 기계적 원리를 선형 계획법으로 설명하고, AI 에이전트의 탐색 과정을 효율적인 최적화로 대체할 수 있음을 보여주는 사례다.
핵심 요약
- MIT CSAIL의 '가중치-공간 프로그래밍' 논문이 공개했듯이, 대형 언어 모델의 가중치를 직접 편집하여 성능을 개선할 수 있다.
- Qwen3.5-0.8B 모델의 추론 루프 문제를 해결하기 위해 가중치 0.016%를 수정하자 MATH-500 정확도가 7.9%에서 48.1%로 대폭 상승했다.
- AI 에이전트가 이 작업을 수행하는 과정을 분석하면, 실제로는 어떤 가중치를 변경할지와 변경량을 결정하는 선형 계획법(LP) 문제를 시행착오로 풀고 있었다.