Hugging Face 논문AI · 머신러닝

하이브리드 어텐션 모델 변환 성능 개선하는 FlashMorph2

원제 On-Policy Morphing into Hybrid Attention Models

추천 13댓글 2Disen Lan, Xuanda Wang, Jianbin Zheng 외
Key Point

하이브리드 어텐션 모델 변환 시 최적의 레이어 선택 방법이 개선되면서 기존 대비 추론 효율을 유지하면서 성능을 높이는 새로운 접근 방식이 제시되었습니다.

핵심 요약

  • 하이브리드 어텐션 모델은 풀 어텐션과 선형 어텐션을 결합해 품질과 효율의 균형을 맞춥니다.
  • 기존 Transformer를 하이브리드 모델로 변환할 때 정해진 예산 내에서 어느 레이어가 풀 어텐션을 유지할지 선택해야 합니다.
  • 기존 FlashMorph는 두 가지 문제가 있습니다: (1) 연속 보간 평가와 실제 이산 하이브리드 계산이 다르고, (2) 가중치가 고정되어 이후 적응 과정을 반영하지 못합니다.
  • FlashMorph2는 온-폴리시 방식으로 개선해 (1) 샘플링된 이산 하이브리드 구조를 자체 은닉 상태로 종단간 평가하고, (2) 레이어 선택 점수와 가중치를 함께 최적화합니다.
  • Qwen3 여러 규모와 선형 어텐션 변형에서 FlashMorph2는 RULER에서 +2.42점, LongBench에서 +1.08점, 회상 집약적 작업에서 +0.76점 개선했습니다.
  • 0.6B~8B 모델에서 레이어 선택을 0.72~3.57 GPU 시간으로 완료해 높은 효율성과 확장성을 보여줍니다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗