LLM이 1990년대 방식으로 신경망을 짠다
원제 Weight-Space Programming builds neural networks like a 1990s researcher
105 포인트댓글 8

Key Point
LLM이 신경망을 짜는 방식이 실제로는 현대 딥러닝이 아닌 1990년대 전문 지식 엔지니어링 패턴을 따르고 있다는 점이 중요하다.
핵심 요약
- Weight-Space Programming은 LLM이 신경망의 가중치를 직접 읽고 쓰고 편집하는 기법으로, 저자가 Claude Fable 5.2로 MNIST 이미지 분류 문제에 테스트했다.
- Claude는 5,994개 가중치를 모두 수동으로 설정해야 했고, 50단계에 걸쳐 선형 필터, 손그림 템플릿, 루프 감지기, 모서리 감지기 등 1990년대 고전 컴퓨터 비전 기법을 순차적으로 조합했다.
- 첫 단계에서 Sobel 필터 같은 획 방향 감지기를 만들고, 이후 각 기법을 개별적으로 단위 테스트한 뒤, 혼동행렬로 측정한 값을 기반으로 가중치를 설정하는 방식을 택했다.
- 최종 분류기는 Naive Bayes 방식의 확률 기반 로지스틱 가중치로 구성되었으며, 50단계 Adam 훈련과 유사한 약 90% 정확도에 도달했다.
- 원래 Weight-Space Programming 논문의 Go 네트워크도 동일한 패턴을 보였는데, 자유도 전파, 포획, Ko 위험 억제 등 고전 Go 프로그램의 규칙 기반 기법을 1.48백만 개 가중치로 컴파일한 것이었다.
- MNIST에서는 성공했으나, 개고양이 분류 같은 복잡한 문제에선 손으로 설계한 특징의 한계가 드러났고, 최고 61.6% 정확도에 머물렀다.
- 결론적으로 LLM은 가중치 공간에서 완전히 새로운 네트워크를 짜는 것이 아니라, 고전 머신러닝 기법들을 체계적으로 측정하고 조합하는 방식으로 작동했다.