트랜스포머 레이어 동적 순서 재구성으로 효율성·제어성 높인다

핵심 요약

• 연구팀은 기존 언어 모델처럼 고정된 레이어 순서로 실행하는 대신, 추론 시 동적으로 레이어 순서를 재배열하는 Library of Layers(LoL) 아키텍처를 제안했다.
• LoL은 트랜스포머 블록의 글로벌 라이브러리 크기 하나의 하이퍼파라미터로 조절하면서 파라미터 재사용과 희소성 사이를 자유롭게 전환할 수 있다.
• 이를 통해 기존의 밀집 아키텍처, 깊이-순환 모델, 혼합 전문가(MoE) 아키텍처의 파라미터 효율성과 연산량 효율성 트레이드오프를 하나의 통합 체계 안에서 일반화한다.
• 텍스트 데이터로 사전학습했을 때 LoL은 세 가지 기존 방식의 성능과 경쟁력 있는 수준을 달성했다.
• 합성 스도쿠와 미로 데이터에서는 모델이 서로 다른 문제 해결 전략을 구현하기 위해 고유한 레이어 순서를 사용하며, 라우팅 개입을 통해 특정 문제에 특정 전략을 강제할 수 있다.
• 다국어 자연어 처리 환경에서 LoL은 언어와 문자에 따라 다른 레이어 순서 패턴을 선택한다.
• 안전성 데이터로 학습하고 라우터 출력값에 프로브를 맞췄을 때 이들 프로브는 안전한 텍스트와 위험한 텍스트를 높은 AUROC로 구분한다.
• 이는 모델이 계산 그래프를 동적으로 구성하는 미래로 나아가는 경로를 제시하며, 더욱 효율적이고 제어 가능한 추론을 가능하게 한다.