언어 모델로 초고속 추천 시스템 구축
원제 DuoLM: Fast and Effective Personalized Recommendation with Language Models
추천 10댓글 2
Key Point
LLM의 이해력을 보존하면서 실제 프로덕션 환경에서 필요한 60배 수준의 처리 성능을 달성한 추천 시스템 최적화 기법으로, 대규모 온라인 서비스에서 언어 모델 활용의 현실적 경로를 보여준다.
핵심 요약
- 언어 모델의 풍부한 이해 능력을 활용하면서도 온라인 서빙 속도를 확보하기 위해 DuoLM이라는 프레임워크를 제안했다.
- 인코더 LLM이 오프라인에서 아이템의 간결한 표현을 학습하고, 개인화 랭커 LLM이 이를 사용자 이력과 피드백과 결합해 추천 점수를 계산한다.
- 두 모델을 추천 감독과 교사 증류를 통해 함께 학습해 정확도를 유지하면서 효율성을 높였다.
- 가상 토큰 ID를 이용한 임베딩 접근, 공유 히스토리 계산, CUDA Graph 재사용 등으로 런타임 추론을 추가 가속화했다.
- 단일 H100 GPU에서 초당 약 26,400개 후보의 점수를 계산해 vLLM과 자동 프리픽스 캐싱을 사용한 교사 모델 대비 약 60배 빠른 처리량을 달성했다.
- 추천 품질은 전문가 교사 모델 수준으로 유지하면서 실시간 서빙에 필요한 성능을 확보했다.