LLM이 신경망 가중치를 이해하고 작성하는 실험 로그 공개
Key Point
LLM이 실제로 신경망 가중치 구조를 이해하고 조작할 수 있음을 보여주는 체계적인 실험의 완전한 재현 자료로, 신경망과 LLM의 관계를 탐구하는 연구자에게 필수적인 참고 자료다.
핵심 요약
- 블로그 포스트 '가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 이해하고 작성할 수 있다'의 전체 실험 로그를 GitHub에 공개했다.
- 게임 네트워크 식별, 확산 모델 분석, 언어 모델 중간층 분석, 가중치 편집 수정, 처음부터 네트워크 작성 등 8개 실험을 담았다.
- 각 실험은 모델에 보낸 프롬프트, 모델의 응답, 실행한 코드와 출력, 평가 점수, 읽거나 작성한 신경망을 모두 포함한다.
저장소 보기 ↗github.com