언어 모델 가중치의 비트 수준 최적화로 추론 오류 수정
원제 Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
추천 45댓글 4
Key Point
언어 모델의 추론 오류를 비트 수준에서 직접 수정하는 새로운 방법이 기존 에이전트 기반 편집보다 효율적이고 정확하며, 기존 요구사항(89.7M 토큰, 158 에이전트 턴)을 대폭 줄인다.
핵심 요약
- MIT의 weight-space programming 방식을 개선한 Tree-Ising 기법이 언어 모델의 추론 오류를 이진 최적화 문제로 변환하여 수정한다.
- 방법은 모델의 BF16 가중치에서 부호 반전과 지수 이동만 허용하는 이산 최적화를 통해 루프 방향은 약화시키고 결론 방향은 강화하되 생산적 토큰의 레이어 출력은 보존한다.
- Qwen 3.5-0.8B의 두 개 레이어에 적용했을 때 MATH-500에서 54.6% 정확도를 달성하여 GPT-6 Astra 에이전트의 51.7%를 초과한다.
- 시뮬레이션 어닐링 또는 양자영감 시뮬레이션 분기법으로 GPU에서 QUBO 문제를 풀며, 4번의 순전파 요청과 0개의 LLM 토큰으로 동작한다.
- 기존 방식 대비 13~17% 더 적은 가중치를 수정하고 BF16 비트 반전을 2.2~2.3배 감소시키며, GPU 시간 비용은 약 0.90달러다.
- 모든 5개 수학 벤치마크에서 에이전트 편집을 초과하고 MATH-500과 GSM8K에서 통계적으로 유의미한 개선을 보인다.
- Qwen 3.5-2B에서 기본 모델만 사용해 레이어를 선택했을 때 GSM8K 정확도를 21.6%에서 69.4%로 향상시킨다.
- IBM Heron 프로세서에서 8개 변수 부분문제를 QAOA로 실행하는 개념 증명을 시연했다.