Astra 가중치 읽기·쓰기 논문의 주장은 과장됐다
원제 The 'Astra can read and write weights to improve Qwen' post is misleading
436 포인트댓글 87
Key Point
Astra 논문이 대규모 언어모델 개선 결과를 강조하면서 핵심 기법의 범위를 명확히 하지 않아, 독자들이 실제 기능을 잘못 이해할 수 있는 상황을 지적합니다.
핵심 요약
- 'Astra가 가중치를 읽고 쓰면서 Qwen을 개선한다'는 논문이 마술 속임수처럼 여러 기법을 섞어 표현하고 있다고 비판한다.
- 논문의 추상화는 'Astra가 생 가중치만 봐도 무엇을 하는지 알 수 있고 코드 피드백 없이 네트워크를 만들 수 있다'고 주장하지만, 실제로는 그렇지 않다.
- 실험을 분류하면 생 가중치만 읽는 실험(17K~172K 모델, 4개)과 Python 코드를 사용하는 실험(언어모델 포함, 4개)이 섞여 있다.
- Qwen 수학 개선 결과가 헤드라인인데, 이는 생 가중치만 사용한 게 아니라 Python을 쓰고 50배치의 문제로 실제 네트워크를 돌린다.
- 생 가중치만 읽는 설정은 실험 1, 2, 4에만 해당하며, 모든 대규모 언어모델 실험은 Python 코드를 활용한다.
- Qwen 결과는 실제로 'Astra가 ML 엔지니어처럼 가중치를 분석·수정하는 Python 코드를 고안하고 실행할 수 있다'는 뜻이다.
- 가중치를 직접 읽는 실험과 Python을 사용하는 실험을 같은 논문에 섞으면 마치 하나의 기법이 두 가지를 모두 할 수 있다고 오해하게 된다.
- 하지만 이는 단일 기법이 아니라 다른 접근방식들의 조합이므로, 같은 카테고리로 제시하는 것은 부정확하다.