Hacker NewsAI · 머신러닝

선형 계획법으로 LLM 가중치 최적화하기

원제 Can a Linear Program Do Weight-Space Programming?

174 포인트댓글 29
Key Point

LLM 가중치 직접 편집의 기계적 원리를 선형 계획법으로 설명하고, AI 에이전트의 탐색 과정을 효율적인 최적화로 대체할 수 있음을 보여주는 사례다.

핵심 요약

  • MIT CSAIL의 '가중치-공간 프로그래밍' 논문이 공개했듯이, 대형 언어 모델의 가중치를 직접 편집하여 성능을 개선할 수 있다.
  • Qwen3.5-0.8B 모델의 추론 루프 문제를 해결하기 위해 가중치 0.016%를 수정하자 MATH-500 정확도가 7.9%에서 48.1%로 대폭 상승했다.
  • AI 에이전트가 이 작업을 수행하는 과정을 분석하면, 실제로는 어떤 가중치를 변경할지와 변경량을 결정하는 선형 계획법(LP) 문제를 시행착오로 풀고 있었다.
  • 모델이 무한 루프에 빠지는 이유는 트랜스포머의 각 층이 동일한 방향으로 잔차 스트림을 계속 더해가기 때문이며, 루프 방향 벡터 u를 식별하여 반대 방향으로 밀어내는 방식으로 해결된다.
  • 가중치 행렬 W의 각 열을 u 방향에 수직인 방향으로 조정하는 문제는 '루프 토큰에서는 크게 밀어내고, 정상 토큰에서는 변화 최소화'라는 선형 제약조건으로 표현할 수 있다.
  • 대안으로 L1 노름을 최소화하는 LP를 풀면, AI 에이전트가 8시간 28번의 순전파 계산으로 찾은 해(130,188개 가중치 변경)와 동일한 성능을 8배 적은 16,291개 가중치만 수정하여 달성할 수 있다.
  • LP 솔버는 약 1분 만에 최적해에 근접한 결과를 제공하며, 각 층의 상위 8개 활성도 열만 편집해도 충분하다.
  • 흥미롭게도, 추론 루프 제거는 지속적인 벡터를 잔차 스트림에 더하는 '스티어링 벡터' 방식으로도 거의 동일한 성능을 낼 수 있음이 확인되었다.
  • 현재 LP 방법은 여전히 AI 에이전트가 제시한 층과 루프 방향에 의존하며, 휴리스틱 방향 사용 시 성능이 93% 수준으로 저하된다.
  • 다양한 행동(거부, 오제시나리즘 제거 등)이 하나의 잔차 방향으로 제어 가능한 것으로 알려져 있으므로, 이 LP 접근법을 다른 가중치 편집 작업에도 적용할 수 있을 것으로 예상된다.
  • 가중치 편집 시 어떤 층을 수정할지 자동으로 선택하기와 AI 에이전트 없이 루프 방향을 찾는 것이 앞으로 풀어야 할 과제다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗