엔비디아, 시각·생성 통합한 확산 언어모델 공개
원제 Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation
추천 32댓글 2
Key Point
단일 모델에서 시각 이해와 생성을 모두 처리하고자 하는 개발자들에게 새로운 아키텍처와 훈련 방법이 어떻게 여러 작업에 동시에 최고 성능을 달성했는지 보여준다.
핵심 요약
- 엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다.
- 기존 확산 모델과 달리 자동회귀 VLM의 이해 능력과 연속 흐름 모델의 생성 능력을 교차 패러다임 온-정책 증류(OPD)로 통합했다.
- 훈련 시 이미지 토큰을 마스크로 직접 손상시키는 기존 방식 대신, 여러 단계에 걸쳐 각 토큰을 점진적으로 손상시키는 자가-정제 확산 프로세스를 도입했다.
- 추론 시 중간 결과에 커밋할 수 있어 점진적 자가-정제를 통해 시각 품질을 개선할 수 있다.
- VQA, 다중모달 추론, 객체 위치 파악, 텍스트-이미지 생성, 이미지 편집 등 다양한 작업에서 통합 확산 LLM 중 최고 성능을 달성했다.