확산 언어 모델로 리서치 속도 6배 가속화
원제 DiffResearch: Accelerating Deep Research with Diffusion Language Models
추천 10댓글 1
Key Point
자동 회귀 모델 기반의 현재 리서치 시스템이 느린 이유를 근본적으로 해결하는 대안 기술을 제시하며, 실제로 6배 속도 개선과 품질 유지를 동시에 달성했기 때문이다.
핵심 요약
- 심화된 리서치 시스템은 계획, 증거 수집, 종합, 수정을 반복하는데 종단간 지연이 상용 활용에 큰 병목이다.
- 기존 대부분의 프로덕션 시스템은 자동 회귀(AR) 언어 모델에 기반하며 좌에서 우로의 디코딩 방식을 사용한다.
- DiffResearch는 확산 언어 모델(dLLM)을 모든 단계의 핵심에 놓는 오픈 멀티 에이전트 리서치 프레임워크다.
- 동일한 에이전트 구조, 검색 코드, 프롬프트, 평가를 유지하고 백본만 확산 모델과 AR 모델 간 교체 비교했다.
- 100개의 Deep Research Bench 작업에서 확산 백본이 종단간 약 6배 빠르며, 특히 계획과 작성 단계에서 1자리 수 배의 성능 향상을 달성했다.
- dFast라는 분해 모드는 생성 완료 전 중간 노이즈 제거 상태를 읽고 부분 쿼리를 추출하며, 분해 단계에서 1.99배 중앙값 속도 향상을 제공한다.
- dFast는 리포트 품질 손실 없이 벤치마크의 RACE 기준에서 세 가지 구성 중 최고의 종합 점수를 얻었다.
- 공개 시스템 수준 리더보드 스냅샷에서 더 강력한 확산 모델을 기반으로 한 인스턴스가 여러 상용 시스템을 능가했다.
- DiffResearch는 Apache-2.0 라이선스로 공개된다.