기존 언어모델을 확산 모델로 변환하는 LoRA 기법 공개
원제 BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
추천 10댓글 5
Key Point
확산 모델의 장점(병렬 토큰 업데이트, 유연한 생성)을 기존 오픈소스 언어모델에 저비용으로 적용하는 실용적 경로를 제시하며, 어댑터 학습만으로 대규모 재학습 없이 변환 가능함을 처음 증명했다.
핵심 요약
- 자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다.
- Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, Ministral 8B 등 4개 모델에 LoRA 어댑터만으로 확산 생성 기능을 추가했으며, Mistral 모델의 AR-to-DLM 변환은 처음 보고된 사례다.
- 어댑터는 최종 파라미터의 4.1-5.8%만 차지하며 기본 모델 파라미터는 모두 동결된 상태로 유지된다.
- 25,000번 반복 학습에 최대 102.4M 토큰이 필요하며 Google Colab GPU 1개에서 3.1-4.0시간이 소요된다.
- 변환된 모든 모델이 완전히 마스킹된 시퀀스에서 생성하고 양방향 어텐션을 활용한다.
- 9가지 작업 평가에서 BYOD-Gemma가 평균 정확도 50.6%로 가장 우수하고, 이는 같은 환경의 LLaDA 8B Instruct(51.9%)와 비교 가능한 수준이다.
- 128 토큰을 64 단계로 생성할 때 BYOD의 퍼플렉시티는 8.3-11.1로 LLaDA(4.1)와 AR 부모 모델(2.2-3.0)에 비해 높은 편이다.
- 낮은 네트워크 함수 평가(NFE) 예산에서의 오픈 생성 품질이 주된 한계로, 효율적 변환이 해결해야 할 과제다.
- 독립형 학습·평가 구현 코드와 4개 모델의 인터랙티브 데모를 공개했다.