고해상도 이미지 처리 위한 효율적인 토큰 순환 모델 GTR
원제 GTR: Gated Token Recurrence for Efficient Dense Prediction
추천 12댓글 2
Key Point
이차 복잡도로 인한 고해상도 이미지 처리의 계산 병목을 해결하는 새로운 아키텍처로, 4배 빠른 처리 속도와 엣지 장비 배포 가능성을 제시한다.
핵심 요약
- Self-attention 기반 비전 백본은 밀집 예측에서 우수하나 전역 소프트맥스 어텐션의 이차 계산 비용이 이미지 해상도 증가에 따라 효율성을 제한한다.
- GTR(Gated Token Recurrence)은 소프트맥스 없는 순환 비전 백본으로 게이팅 선형 어텐션, 교대 공간 스캔 방향, 공간 강화된 SwiGLU 블록을 결합했다.
- GTR은 최종 레이어 패치-토큰 정렬로만 증류되며 마스킹된 토큰 예측이나 중간 레이어 감독은 사용하지 않는다.
- Objects365 사전학습으로 GTR-L은 COCO val2017에서 58.9 박스 AP를 달성하고 RTX 4090의 컴파일된 FP16 실행에서 1.908ms의 중앙값 배치-원 레이턴시를 기록한다.
- 동일 백본은 인스턴스 세그멘테이션, 포즈 추정, 지향 탐지, 의미론적 세그멘테이션, 단안 깊이 추정으로 전이된다.
- 격리된 커널 벤치마크에서 전문화된 청크와이즈 CUDA 연산자는 RTX 4090의 1.6K 토큰에서 FLA v0.5.0보다 4.0배 빠르다.
- DRIVE AGX Thor의 TensorRT 배포는 평가된 모델 전반에 걸쳐 2.282~8.769ms의 중앙값 배치-원 레이턴시를 달성한다.
- 순환 토큰 혼합은 고해상도 밀집 예측과 엣지 배포를 위해 전역 소프트맥스 어텐션의 효율적인 대안이 될 수 있다.