쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 22일 (일)까지5067건
6건 · "가중치 공간"조건 지우기 ×
001▲ 15 · 댓글 2LLM이 직접 신경망 가중치를 수정할 수 있도록 학습하는 방법LLM이 신경망의 가중치를 직접 수정하는 '가중치 공간 프로그래밍'이 가능하다는 것이 알려졌으나, 이를 위한 전용 학습 방법이 무엇인지는 밝혀지지 않았다.AI · 머신러닝 · Training Vision Models for LLM-Driven Weight-Space Programming

Key PointLLM이 직접 신경망 가중치를 수정할 수 있다는 개념이 나오면서, 이를 더 효과적으로 만드는 학습 방법이 무엇인지 궁금해하는 연구자와 개발자들에게 실질적인 답을 제시한다.
핵심 요약
- LLM이 신경망의 가중치를 직접 수정하는 '가중치 공간 프로그래밍'이 가능하다는 것이 알려졌으나, 이를 위한 전용 학습 방법이 무엇인지는 밝혀지지 않았다.
- 연구팀은 LLM이 비전 모델(합성곱 신경망, 비전 트랜스포머)을 편집하는 벤치마크를 구축했으며, Waterbirds·CIFAR-100·PACS·Entity-30 데이터셋에서 재레이블링과 오류 수정 작업을 수행했다.
- 2,600건 이상의 편집 프로세스를 평가했으며, 각 편집의 성공 여부·부작용·정확도 손실을 측정했다.
전체 요약 7문장 읽기 → 002▲ 105 · 댓글 8LLM이 1990년대 방식으로 신경망을 짠다Weight-Space Programming은 LLM이 신경망의 가중치를 직접 읽고 쓰고 편집하는 기법으로, 저자가 Claude Fable 5.2로 MNIST 이미지 분류 문제에 테스트했다.AI · 머신러닝 · Weight-Space Programming builds neural networks like a 1990s researcher

Key PointLLM이 신경망을 짜는 방식이 실제로는 현대 딥러닝이 아닌 1990년대 전문 지식 엔지니어링 패턴을 따르고 있다는 점이 중요하다.
핵심 요약
- Weight-Space Programming은 LLM이 신경망의 가중치를 직접 읽고 쓰고 편집하는 기법으로, 저자가 Claude Fable 5.2로 MNIST 이미지 분류 문제에 테스트했다.
- Claude는 5,994개 가중치를 모두 수동으로 설정해야 했고, 50단계에 걸쳐 선형 필터, 손그림 템플릿, 루프 감지기, 모서리 감지기 등 1990년대 고전 컴퓨터 비전 기법을 순차적으로 조합했다.
- 첫 단계에서 Sobel 필터 같은 획 방향 감지기를 만들고, 이후 각 기법을 개별적으로 단위 테스트한 뒤, 혼동행렬로 측정한 값을 기반으로 가중치를 설정하는 방식을 택했다.
전체 요약 7문장 읽기 → 003▲ 103 · 댓글 37AI 모델이 가중치 조작으로 다른 모델에 악성 행동 주입 가능신경망의 가중치를 직접 수정하는 '가중치 공간 편집'은 정당한 용도가 있지만, 한 모델이 다른 모델에 무단으로 악성 행동을 주입할 수 있는 새로운 공격 벡터를 열었다.AI · 머신러닝 · Models can now transmit viruses in weight-space

Key Point가중치 편집 기술이 발전하면서 모델 간 악성 조작이 가능해졌고, 정당한 용도와 보안 위험 사이의 균형 문제가 AI 시스템의 배포 및 관리 방식에 직결되기 때문이다.
핵심 요약
- 신경망의 가중치를 직접 수정하는 '가중치 공간 편집'은 정당한 용도가 있지만, 한 모델이 다른 모델에 무단으로 악성 행동을 주입할 수 있는 새로운 공격 벡터를 열었다.
- 연구팀은 이를 단백질 오류 접기 현상에 빗대어 '가중치 공간 오류 접기(weight space misfolding)'라 명명했고, 직접 간섭과 모델 간 전파 가능성을 분석했다.
- 공격자는 페이로드를 한 번만 생성하면 되지만, 방어자는 방대한 가중치 중에서 악성 수정을 찾아야 하는 불균형적 상황을 지적했다.
전체 요약 10문장 읽기 → 004스타 1,119LLM이 신경망 가중치를 이해하고 작성하는 실험 로그 공개블로그 포스트 '가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 이해하고 작성할 수 있다'의 전체 실험 로그를 GitHub에 공개했다.AI · 머신러닝 · RikiyaT/lm_understand-logs · Python

Key PointLLM이 실제로 신경망 가중치 구조를 이해하고 조작할 수 있음을 보여주는 체계적인 실험의 완전한 재현 자료로, 신경망과 LLM의 관계를 탐구하는 연구자에게 필수적인 참고 자료다.
핵심 요약
- 블로그 포스트 '가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 이해하고 작성할 수 있다'의 전체 실험 로그를 GitHub에 공개했다.
- 게임 네트워크 식별, 확산 모델 분석, 언어 모델 중간층 분석, 가중치 편집 수정, 처음부터 네트워크 작성 등 8개 실험을 담았다.
- 각 실험은 모델에 보낸 프롬프트, 모델의 응답, 실행한 코드와 출력, 평가 점수, 읽거나 작성한 신경망을 모두 포함한다.
전체 요약 8문장 읽기 → 005▲ 277 · 댓글 82역전파 없이 트랜스포머를 학습하는 'Dust' 알고리즘 등장연구진이 역전파를 대체하는 첫 번째 0차 최적화 방법 'Dust'를 제시했으며, 대규모 언어 모델 사전학습에서 역전파와 경쟁 가능한 성능을 보인다.AI · 머신러닝 · Dust: Pretraining Transformers Without Backpropagation
Key Point역전파 없이도 대규모 언어 모델을 학습할 수 있는 첫 경쟁력 있는 방법이 등장했으며, 기존 진화 전략보다 수천 배 효율적이고 계산량이 충분하면 역전파를 능가할 가능성을 보여준다.
핵심 요약
- 연구진이 역전파를 대체하는 첫 번째 0차 최적화 방법 'Dust'를 제시했으며, 대규모 언어 모델 사전학습에서 역전파와 경쟁 가능한 성능을 보인다.
- Dust는 모든 토큰에서 독립적으로 활성화를 교란하여 각 토큰을 가상 개체군 구성원으로 취급하고, 한 번의 순전파에서 수천 개의 개체군 구성원을 병렬로 평가한다.
- 가중치 공간 진화 전략(EGGROLL)보다 1000배~10000배 효율적이며, 100만 토큰 이상에서 이를 달성한다.
전체 요약 11문장 읽기 → 006▲ 19 · 댓글 2의미·기하 구조 동시 학습, 픽셀 확산 모델 성능 끌어올리다Representation alignment(REPA)는 확산 트랜스포머 학습을 가속화하는 기법인데, 기존엔 의미 정보(DINOv2, CLIP)만을 정렬 대상으로 삼았다.AI · 머신러닝 · PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

Key Point의미 정보와 기하 정보를 분리해 학습하는 구조적 혁신으로 텍스트-이미지 생성부터 이미지 편집까지 여러 작업에서 동시에 성능을 끌어올렸으며, 전통적 단일 정렬 방식의 한계를 넘었다.
핵심 요약
- Representation alignment(REPA)는 확산 트랜스포머 학습을 가속화하는 기법인데, 기존엔 의미 정보(DINOv2, CLIP)만을 정렬 대상으로 삼았다.
- 최근 분석이 정렬 효과의 핵심이 의미 정보가 아닌 공간 구조(spatial structure)임을 지적했으나, 그러한 구조를 예측하도록 훈련된 기초 모델들은 간과되어 왔다.
- 픽셀 공간 확산에서 SAM2, Depth Anything v2, Metric3D v2는 DINOv2 단독 기준보다 우수하며, 특히 기하 정보를 학습하는 모델들이 분할 모델을 앞선다.
전체 요약 10문장 읽기 →