사용자 행동으로 LLM 학습하는 Vela 프레임워크
원제 Vela: User Behavior as Supervision Sparks LLM Intelligence
추천 69댓글 5
Key Point
개인 비서부터 추천·광고 시스템까지 실제 서비스에서 사용자의 장기 행동 데이터를 기반으로 LLM을 학습시키는 새로운 방식을 제시하며, 실제 데이터로 명확한 성능 향상을 입증했다.
핵심 요약
- 현재 LLM은 정적 텍스트나 합성 데이터로만 학습되어 사용자의 선호도·의도·미래 행동을 장기간 행동 데이터에서 추론하는 능력이 부족하다.
- Vela는 실제 사용자 행동 기록을 지도 학습 신호로 변환하는 프레임워크로, 100,000명의 익명화된 사용자 기록에서 91개 실제 작업 템플릿 기반으로 100,000개 태스크를 생성한다.
- 난이도 기반 필터링과 궤적 선정 기준을 통해 약 75,000개의 학습용 궤적을 선별한다.
- Qwen 3.6-35B-A3B를 이 궤적으로 파인튜닝한 결과, 사용자 관련 태스크에서 기본 모델 대비 최대 11.5포인트 향상, 일반 벤치마크에서 평균 4포인트 향상을 달성했다.
- 더 많은 사용자 행동 데이터로 학습하면 사용자 관련 성능이 추가로 개선되며, 파인튜닝 후 강화학습은 기본 모델부터 시작한 강화학습 대비 최대 7.7포인트 향상된다.
- 이는 실제 사용자 행동이 사용자 중심 능력과 LLM의 전반적 지능 향상을 위한 확장 가능한 지도 신호 원천임을 시사한다.