상태 추적을 위해 깊이를 동적으로 늘리는 변압기

핵심 요약

• Transformer는 시퀀스 길이와 무관하게 각 토큰에 고정된 깊이의 계산을 적용하지만, 상태 추적은 매 입력마다 업데이트가 필요하다.
• Recurrent Looped Transformer(RLT)는 병렬 인과 인코더와 반복 디코더로 레이어를 나누어 이 문제를 해결한다.
• 각 토큰에서 디코더가 인코더 출력과 이전 토큰의 최종 디코더 상태를 병합하므로 계산 경로가 시퀀스 길이와 함께 성장하되 토큰당 비용은 고정된다.
• 6가지 알고리즘 태스크에서 8계층을 다양하게 분할한 5가지 RLT 구성을 8계층 기본 Transformer와 비교했다.
• 패리티 태스크에서 40비트로 학습한 후 최대 256비트까지 일반화할 때 RLT의 두 구성이 모든 시드에서 100% 정확도를 달성했으나 Transformer는 우연 수준에 머물렀다.
• 순열 추적 태스크에서 8배 긴 시퀀스에 대해 RLT는 97%의 최종 상태 정확도를 달성했고 Transformer는 1% 미만이었으며 정확도는 디코더 깊이가 증가할수록 올랐다.
• 모듈러 산술 태스크에서 학습 길이를 초과한 범위에서 RLT는 93%에 달했고 Transformer는 33%였다.
• 피드백 제거 실험에서 모든 구성이 패리티와 순열 추적에서 우연 수준으로 떨어져 피드백이 성능 향상의 필수 요소임을 보였다.
• 4토큰 단위로 피드백을 한 번만 주면 각 청크 내 알려진 토큰들을 병렬로 처리하면서 64비트 패리티 정확도를 99%로 유지했다.
• 그러나 순열 추적은 토큰마다 피드백이 필요하며 청킹하면 64비트 스왑 기반 S_5 정확도가 100%에서 20%로 급락했다.