RikiyaT/lm_understand-logs
LLM이 신경망 가중치를 이해하고 작성하는 실험 로그 공개
원제 RikiyaT/lm_understand-logs
스타 1,119Python
Key Point
LLM이 실제로 신경망 가중치 구조를 이해하고 조작할 수 있음을 보여주는 체계적인 실험의 완전한 재현 자료로, 신경망과 LLM의 관계를 탐구하는 연구자에게 필수적인 참고 자료다.
핵심 요약
- 블로그 포스트 '가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 이해하고 작성할 수 있다'의 전체 실험 로그를 GitHub에 공개했다.
- 게임 네트워크 식별, 확산 모델 분석, 언어 모델 중간층 분석, 가중치 편집 수정, 처음부터 네트워크 작성 등 8개 실험을 담았다.
- 각 실험은 모델에 보낸 프롬프트, 모델의 응답, 실행한 코드와 출력, 평가 점수, 읽거나 작성한 신경망을 모두 포함한다.
- OpenAI의 gpt-6-astra 모델을 사용했으며, 모든 기본 제공 도구(셸, 파일 편집, 웹 검색 등)를 비활성화한 상태에서 실행했다.
- 일부 실험(3, 6, 7, 8번)에서만 Python 샌드박스 환경에서 코드 실행을 허용했으며, 모든 1,125개 턴이 도구 없이 수행되었음을 감사했다.
- 프롬프트, 이벤트 스트림, 모델 응답, 코드 실행 결과, 최종 네트워크 등 모든 파일과 중간 산물을 투명하게 기록했다.
- 일부 대용량 파일(Gemma 3 미세 조정 17GB)과 타사 벤치마크 데이터는 제외했으나, 재구성할 수 있는 데이터와 해시값은 포함했다.
- 로그와 데이터는 CC BY 4.0, 스크립트는 MIT, MinAtar 소스는 GPL-3.0으로 라이선싱했다.
저장소 보기 ↗github.com