이커머스 쇼핑 에이전트 평가 벤치마크 공개

핵심 요약

• Hugging Face 연구팀이 추천 에이전트 개발을 위한 새로운 벤치마크인 UserArena를 공개했다.
• 11,010명의 사용자로부터 수집한 64,729개의 세션 궤적(session trajectory)을 포함하며, 566,102개의 상품과 13가지 액션 타입을 다룬다.
• 이 벤치마크는 추천 에이전트가 장기간의 사용자 상호작용에서 쇼핑 목표를 달성하는 과정을 평가한다.
• 기존 자료와 달리 장기 회차에서 실제 사용자의 상세한 행동 궤적을 제공하며, 프로덕션 A/B 테스트 결과와 오프라인 검증이 가능하다.
• 출력 유효성, 개별 결정, 순차적 행동, 개인화, 최종 성과 등 5단계 평가 프로토콜을 지원한다.
• 긴 시간대 상호작용에서 시뮬레이터의 신뢰성을 높이기 위해 '정책 기반 궤적 증류(On-Policy Trajectory Distillation, OPTD)'를 제안했다.
• OPTD는 학생 모델이 생성한 롤아웃에 궤적 수준의 의도를 반영해 밀집된 교사 신호를 제공한다.
• 실험 결과 OPTD는 UserArena의 평가 프로토콜에서 가장 높은 시뮬레이터 신뢰도를 달성했으며, 오프라인 시뮬레이션에서 프로덕션 정책의 효과를 가장 정확히 재현했다.