Hacker NewsAI · 머신러닝

LLM이 1990년대 방식으로 신경망을 짠다

원제 Weight-Space Programming builds neural networks like a 1990s researcher

105 포인트댓글 8
Key Point

LLM이 신경망을 짜는 방식이 실제로는 현대 딥러닝이 아닌 1990년대 전문 지식 엔지니어링 패턴을 따르고 있다는 점이 중요하다.

핵심 요약

  • Weight-Space Programming은 LLM이 신경망의 가중치를 직접 읽고 쓰고 편집하는 기법으로, 저자가 Claude Fable 5.2로 MNIST 이미지 분류 문제에 테스트했다.
  • Claude는 5,994개 가중치를 모두 수동으로 설정해야 했고, 50단계에 걸쳐 선형 필터, 손그림 템플릿, 루프 감지기, 모서리 감지기 등 1990년대 고전 컴퓨터 비전 기법을 순차적으로 조합했다.
  • 첫 단계에서 Sobel 필터 같은 획 방향 감지기를 만들고, 이후 각 기법을 개별적으로 단위 테스트한 뒤, 혼동행렬로 측정한 값을 기반으로 가중치를 설정하는 방식을 택했다.
  • 최종 분류기는 Naive Bayes 방식의 확률 기반 로지스틱 가중치로 구성되었으며, 50단계 Adam 훈련과 유사한 약 90% 정확도에 도달했다.
  • 원래 Weight-Space Programming 논문의 Go 네트워크도 동일한 패턴을 보였는데, 자유도 전파, 포획, Ko 위험 억제 등 고전 Go 프로그램의 규칙 기반 기법을 1.48백만 개 가중치로 컴파일한 것이었다.
  • MNIST에서는 성공했으나, 개고양이 분류 같은 복잡한 문제에선 손으로 설계한 특징의 한계가 드러났고, 최고 61.6% 정확도에 머물렀다.
  • 결론적으로 LLM은 가중치 공간에서 완전히 새로운 네트워크를 짜는 것이 아니라, 고전 머신러닝 기법들을 체계적으로 측정하고 조합하는 방식으로 작동했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗