셀프-어텐션 없이 언어모델 성능 낼 수 있을까
원제 Attention Is Not What You Need (2025)
102 포인트댓글 37
Key Point
트랜스포머 아키텍처의 핵심인 어텐션 메커니즘 자체를 대체하는 기하학적 모델을 제시하며, 같은 성능을 유지하면서 더 해석 가능한 설계가 가능함을 시사한다.
핵심 요약
- 논문은 시퀀스 모델링에서 셀프-어텐션이 반드시 필요한지 근본적으로 재검토한다.
- 기존 멀티헤드 어텐션을 숨은 벡터들을 고차원 공간으로 끌어올리는 텐서 lifting 메커니즘으로 해석하되, 이는 수학적으로 불명확하고 여러 층을 거치면서 명시적 불변량으로 기술하기 어렵다고 주장한다.
- 대안으로 그래스만 다양체 기반 구조를 제안하며, 인과 그래스만 층은 토큰 상태를 선형 축약한 뒤 플뤼커 좌표로 인코딩된 저차수 부분공간의 제어된 변형을 통해 정보를 전파한다.
- Wikitext-2 벤치마크에서 1,300만~1,800만 개 파라미터의 순수 그래스만 모델이 같은 크기 트랜스포머 대비 검증 손실율 10~15% 차이로 성능을 냈다.
- SNLI 자연언어추론 작업에서 DistilBERT 위 그래스만-플뤼커 헤드가 트랜스포머 헤드를 미세하게 상회했으며, 검증/테스트 정확도가 각각 0.8550/0.8538 대 0.8545/0.8511이었다.
- 그래스만 혼합의 계산 복잡도를 분석하면 고정 차수에서 시퀀스 길이에 따라 선형 확장을 보이며, 다양체 기반 설계는 신경망 추론의 기하학적·불변량 기반 해석으로 가는 더 구조화된 경로를 제공한다고 결론짓는다.