쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 22일 (일)까지5067건
2건 · "가중치 최적화"조건 지우기 ×
001▲ 143 · 댓글 58언어 모델이 스스로 가중치를 개선한다언어 모델이 훈련 없이 자신의 가중치를 직접 수정해 성능을 올리는 '자체 재작성' 기법을 처음으로 선보였다.AI · 머신러닝 · Language Models Can Rewrite Their Own Weights

Key Point언어 모델이 훈련 단계 없이 순전파만으로 자신의 가중치를 수정하는 새로운 메커니즘이 나타났으며, 이는 훈련과 추론의 경계를 무너뜨려 모델 개선의 패러다임을 바꿀 가능성을 보여준다.
핵심 요약
- 언어 모델이 훈련 없이 자신의 가중치를 직접 수정해 성능을 올리는 '자체 재작성' 기법을 처음으로 선보였다.
- 27B 오픈 모델이 자신의 가중치, 채점된 답변, 자신을 실행할 수 있는 능력을 받아 실패를 진단하고 가중치를 재작성하며 그레디언트나 훈련 없이 미본 문제에서 정확도를 6.6포인트 올렸다.
- 모델이 연속 8회 세션을 거쳐 연습 문제로 자신의 편집을 검증한 후 작동하는 것만 적용해 매번 성능을 개선했다.
전체 요약 8문장 읽기 → 002▲ 174 · 댓글 29선형 계획법으로 LLM 가중치 최적화하기MIT CSAIL의 '가중치-공간 프로그래밍' 논문이 공개했듯이, 대형 언어 모델의 가중치를 직접 편집하여 성능을 개선할 수 있다.AI · 머신러닝 · Can a Linear Program Do Weight-Space Programming?
Key PointLLM 가중치 직접 편집의 기계적 원리를 선형 계획법으로 설명하고, AI 에이전트의 탐색 과정을 효율적인 최적화로 대체할 수 있음을 보여주는 사례다.
핵심 요약
- MIT CSAIL의 '가중치-공간 프로그래밍' 논문이 공개했듯이, 대형 언어 모델의 가중치를 직접 편집하여 성능을 개선할 수 있다.
- Qwen3.5-0.8B 모델의 추론 루프 문제를 해결하기 위해 가중치 0.016%를 수정하자 MATH-500 정확도가 7.9%에서 48.1%로 대폭 상승했다.
- AI 에이전트가 이 작업을 수행하는 과정을 분석하면, 실제로는 어떤 가중치를 변경할지와 변경량을 결정하는 선형 계획법(LP) 문제를 시행착오로 풀고 있었다.
전체 요약 11문장 읽기 →