Astra 가중치 읽기·쓰기 논문의 주장은 과장됐다
Key Point
Astra 논문이 대규모 언어모델 개선 결과를 강조하면서 핵심 기법의 범위를 명확히 하지 않아, 독자들이 실제 기능을 잘못 이해할 수 있는 상황을 지적합니다.
핵심 요약
- 'Astra가 가중치를 읽고 쓰면서 Qwen을 개선한다'는 논문이 마술 속임수처럼 여러 기법을 섞어 표현하고 있다고 비판한다.
- 논문의 추상화는 'Astra가 생 가중치만 봐도 무엇을 하는지 알 수 있고 코드 피드백 없이 네트워크를 만들 수 있다'고 주장하지만, 실제로는 그렇지 않다.
- 실험을 분류하면 생 가중치만 읽는 실험(17K~172K 모델, 4개)과 Python 코드를 사용하는 실험(언어모델 포함, 4개)이 섞여 있다.