쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 22일 (일)까지5067건
5건 · "하이브리드 어텐션"조건 지우기 ×
001▲ 13 · 댓글 2하이브리드 어텐션 모델 변환 성능 개선하는 FlashMorph2하이브리드 어텐션 모델은 풀 어텐션과 선형 어텐션을 결합해 품질과 효율의 균형을 맞춥니다.AI · 머신러닝 · On-Policy Morphing into Hybrid Attention Models

Key Point하이브리드 어텐션 모델 변환 시 최적의 레이어 선택 방법이 개선되면서 기존 대비 추론 효율을 유지하면서 성능을 높이는 새로운 접근 방식이 제시되었습니다.
핵심 요약
- 하이브리드 어텐션 모델은 풀 어텐션과 선형 어텐션을 결합해 품질과 효율의 균형을 맞춥니다.
- 기존 Transformer를 하이브리드 모델로 변환할 때 정해진 예산 내에서 어느 레이어가 풀 어텐션을 유지할지 선택해야 합니다.
- 기존 FlashMorph는 두 가지 문제가 있습니다: (1) 연속 보간 평가와 실제 이산 하이브리드 계산이 다르고, (2) 가중치가 고정되어 이후 적응 과정을 반영하지 못합니다.
전체 요약 6문장 읽기 → 002당일 +410MiniMax H3로 영상 생성, 이제 집의 PC에서FreeVideo는 MiniMax H3 모델을 소비자 GPU에서 로컬 실행하는 오픈소스 엔진으로, 최소 8GB VRAM과 16GB RAM만으로 동작한다.AI · 머신러닝 · FlashML-org/FreeVideo · Python

Key Point고사양 GPU 없이도 최첨단 영상 생성 AI를 로컬에서 실행할 수 있게 되어, 개인 개발자와 소규모 팀의 AI 활용 진입 장벽이 대폭 낮아진다.
핵심 요약
- FreeVideo는 MiniMax H3 모델을 소비자 GPU에서 로컬 실행하는 오픈소스 엔진으로, 최소 8GB VRAM과 16GB RAM만으로 동작한다.
- OpenVDN의 VDN-H3 모델과 Video DeltaNet의 하이브리드 어텐션을 기반으로 하며, 각 GPU의 가중치 형식(GeForce/RTX 30번대는 int8, 워크스테이션/데이터센터는 FP8)과 어텐션 커널을 자동으로 선택한다.
- 가중치 스트리밍과 비동기 프리페칭으로 메모리 사용을 최소화하며, 텍스트 프롬프트·첫/마지막 프레임·이미지·영상·오디오 참조 등 다중 입력을 지원한다.
전체 요약 7문장 읽기 → 003▲ 13 · 댓글 3하이브리드 어텐션으로 텍스트-이미지 동시 이해·생성하는 유니스파크UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다.AI · 머신러닝 · UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation

Key Point텍스트 생성과 이미지 생성을 동시에 처리하는 통합 모델의 새로운 아키텍처 접근법으로, 다양한 멀티모달 작업에서 하이브리드 어텐션의 효과를 검증한다.
핵심 요약
- UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다.
- 각 브랜치에 약 9B 파라미터를 가진 Mixture-of-Transformer-Experts 백본을 기반으로 하며, 명시적 토큰 상호작용을 위한 전체 어텐션과 컨텍스트 전파를 위한 GatedDeltaNet 선형 어텐션을 결합한다.
- 자동회귀 텍스트 예측과 시각 흐름 매칭이 시각 질문 응답, 텍스트-이미지 생성, 지시 기반 편집, 인터리브 텍스트-이미지 예측을 지원한다.
전체 요약 8문장 읽기 → 004▲ 34 · 댓글 2동영상 초고화질화, 일반 GPU로 4K 실시간 처리 가능해졌다기존 동영상 초고화질화(VSR) 모델이 확산 증류를 통해 한 단계 생성으로 효율성을 높였으나, 고해상도 추론 비용이 크고 생성 결과가 사용자 선호와 맞추기 어려운 문제가 있었다.AI · 머신러닝 · FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching

Key Point동영상 초고화질화가 실용적인 수준의 속도와 메모리 효율로 4K 고해상도 처리가 가능해지면서, 콘텐츠 제작자와 개발자들이 일반 사양 GPU에서도 고품질 영상 생성을 구현할 수 있게 되었다.
핵심 요약
- 기존 동영상 초고화질화(VSR) 모델이 확산 증류를 통해 한 단계 생성으로 효율성을 높였으나, 고해상도 추론 비용이 크고 생성 결과가 사용자 선호와 맞추기 어려운 문제가 있었다.
- FlashVSR+는 하이브리드 어텐션 메커니즘을 도입해 사전학습된 VSR 모델의 강한 지역성(locality)을 활용하면서 장거리 일관성을 위해 희소 전역 상호작용을 유지한다.
- 이를 통해 DiT 속도를 최대 2배 높이고 피크 메모리를 45% 감소시켜, RTX 4090 24GB 단일 GPU에서 타일 분할 없이 4K 영상 초고화질화를 가능하게 했다.
전체 요약 7문장 읽기 → 005▲ 30 · 댓글 2장문맥 하이브리드 모델의 동작 원리 분석LLM의 아키텍처가 전체 어텐션만 사용하던 기존 방식에서 슬라이딩 윈도우 어텐션(SWA)과 선형 어텐션(LA) 등을 결합한 하이브리드 모델로 전환되고 있다.AI · 머신러닝 · Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

Key Point하이브리드 어텐션이 장문맥 처리에서 어떤 메커니즘으로 작동하는지, 슬라이딩 윈도우와 선형 어텐션 중 어느 것을 선택할지 결정하는 기준이 명확히 제시되었기 때문이다.
핵심 요약
- LLM의 아키텍처가 전체 어텐션만 사용하던 기존 방식에서 슬라이딩 윈도우 어텐션(SWA)과 선형 어텐션(LA) 등을 결합한 하이브리드 모델로 전환되고 있다.
- 본 논문은 하이브리드 모델이 작동하는 이유를 규명하고 더 효과적으로 설계하기 위해 '장문맥 하이브리드 모델의 역학'을 제안한다.
- 전체 어텐션과 SWA, 또는 GLA·GDN 같은 게이팅 선형 어텐션을 결합한 하이브리드에서 씨소 효과(Seesaw Effect)를 관찰했다: LA 하이브리드는 장문맥 지속 학습에서 더 유리하고 SWA 하이브리드는 길이 외삽에서 더 잘 작동한다.
전체 요약 6문장 읽기 →