쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
2건 · "가중치 수정"조건 지우기 ×
001 21:11 ▲ 45 · 댓글 4 언어 모델 가중치의 비트 수준 최적화로 추론 오류 수정 MIT의 weight-space programming 방식을 개선한 Tree-Ising 기법이 언어 모델의 추론 오류를 이진 최적화 문제로 변환하여 수정한다. AI · 머신러닝 · Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
Key Point 언어 모델의 추론 오류를 비트 수준에서 직접 수정하는 새로운 방법이 기존 에이전트 기반 편집보다 효율적이고 정확하며, 기존 요구사항(89.7M 토큰, 158 에이전트 턴)을 대폭 줄인다.
핵심 요약
MIT의 weight-space programming 방식을 개선한 Tree-Ising 기법이 언어 모델의 추론 오류를 이진 최적화 문제로 변환하여 수정한다. 방법은 모델의 BF16 가중치에서 부호 반전과 지수 이동만 허용하는 이산 최적화를 통해 루프 방향은 약화시키고 결론 방향은 강화하되 생산적 토큰의 레이어 출력은 보존한다. Qwen 3.5-0.8B의 두 개 레이어에 적용했을 때 MATH-500에서 54.6% 정확도를 달성하여 GPT-6 Astra 에이전트의 51.7%를 초과한다. 전체 요약 8문장 읽기 → 002 06:11 ▲ 344 · 댓글 110 무게 공간 프로그래밍: 라마 27B도 신경망 가중치를 해석할 수 있다 최근 논문 'Sparks of Weight-Space Programming'은 LLM이 기계학습 모델의 실제 가중치를 텍스트로 읽고 수정할 수 있다는 것을 보여줬고, GPT-6 Astra가 이를 시연했다. AI · 머신러닝 · Qwen 3.8 27B on my laptop can interpret model weights, too
Key Point LLM이 코드나 도구 없이 신경망의 실제 가중치를 읽고 해석할 수 있는 능력의 한계와 범위를 명확히 하는 기술 분석으로, 최근 논문에 대한 과장된 해석을 바로잡는다.
핵심 요약
최근 논문 'Sparks of Weight-Space Programming'은 LLM이 기계학습 모델의 실제 가중치를 텍스트로 읽고 수정할 수 있다는 것을 보여줬고, GPT-6 Astra가 이를 시연했다. 논문의 핵심은 LLM이 코드나 도구 없이 신경망 가중치만 보고 그 네트워크의 목적을 파악하고, 작은 게임 네트워크를 작성해 PPO로 1억 스텝 학습한 네트워크를 능가할 수 있다는 것이다. 또 다른 예로 Qwen3.5-0.8B의 수학 능력을 개선하도록 요청하자, Astra는 가중치의 0.016%만 수정해 MATH-500 점수를 7.9%에서 48.1%로 올리고 IFEval을 3배 향상시켰다. 전체 요약 11문장 읽기 →