Hacker NewsAI · 머신러닝오늘의 주요

LLM의 위치 정보 처리 방식: RoPE까지 완벽 가이드

원제 Understanding Positional Embeddings in Modern LLMs

127 포인트댓글 3
Key Point

위치 임베딩은 LLM 아키텍처의 기초 요소이며 GPT-2의 학습된 벡터, 원래 트랜스포머의 사인·코사인 함수, 현대 모델의 RoPE 등 진화 과정을 이해하면 LLM의 작동 원리와 각 아키텍처의 설계 선택을 파악할 수 있다.

핵심 요약

  • 언어 모델이 토큰의 위치 정보를 인코딩하고 처리하는 방식을 다루는 기술 가이드로, 고전적 방법부터 현대 기법까지 시각 자료와 수식, PyTorch 코드 예제를 통해 설명한다.
  • 토큰 임베딩 계층이 입력 텍스트를 벡터로 변환한 후 위치 정보가 추가되는데, GPT-2는 변환기 블록 전에 위치 벡터를 더하고 MiniMax-M3은 어텐션 내부에서 RoPE 방식으로 위치 정보를 주입한다.
  • 같은 토큰이 다른 위치에 나타나도 동일한 임베딩을 받으므로 명시적 위치 정보가 필요하며, 인과 마스크만으로도 암묵적 순서 정보를 제공하지만 위치 간 거리 차이를 구별하지 못한다.
  • GPT-2 방식의 학습된 절대 위치 임베딩은 각 시퀀스 위치마다 고유 벡터를 학습하는 방식으로, 초기 임베딩 테이블에 임베딩 너비와 같은 크기로 저장되며 토큰 임베딩과 더해진다.
  • 원래의 트랜스포머(2017)는 고정 사인·코사인 함수로 위치 벡터를 계산하는데, 각 위치 벡터는 기능 쌍마다 다른 각진동수의 사인과 코사인 값을 담아 상대 위치 관계를 학습하기 쉽게 설계했다.
  • RoPE(회전 위치 임베딩, 2021)는 절대 위치 방식 대신 쿼리와 키 벡터를 토큰 위치로 회전시키는 상대 위치 방식으로, 어텐션 내부에서 명시적 위치 벡터 없이 위치 신호를 직접 주입한다.
  • RoPE에서 어텐션 헤드의 기능들을 쌍으로 묶어 각 쌍을 토큰 위치와 기능별 각진동수에 따라 회전시키며, 회전된 쿼리-키 내적이 어텐션 점수를 결정한다.
  • 예시에서 위치 m의 쿼리 쌍 (a, b)은 mθ 각도로 회전시키고 위치 n의 키 쌍도 nθ 각도로 회전시켜, 두 벡터의 길이는 유지되고 회전만 변한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗