스포츠·헬스 AI 코칭 평가하는 새 벤치마크 공개
원제 MoveBench: A Rubric-Based Benchmark for Evaluating Large Language Models in Sports and Health Coaching
추천 14댓글 2
Key Point
피트니스·헬스 AI 조언이 위험할 수 있는 이유는 평가 기준이 없기 때문이며, 첫 전문 벤치마크가 현재 LLM의 안전성 격차를 드러냈기 때문이다.
핵심 요약
- 스포츠·헬스 도메인에 맞춘 대규모언어모델(LLM) 평가 기준이 부족해 안전하지 않은 조언 전달 위험이 높다.
- 기존 MMLU·HELM 같은 범용 벤치마크는 광범위한 지식만 측정할 뿐 운동 안전성·생리학적 적절성·개인화·실행 가능한 코칭 품질을 평가하지 못한다.
- 이를 해결하기 위해 MoveBench 벤치마크를 개발했다. 스포츠·헬스 코칭 LLM 평가 전문 프레임워크다.
- 객관식(MCQ)과 서술형(OpenQA) 혼합 문제를 현실 시나리오 기반으로 구성하고, 안전성·과학적 타당성·훈련 논리를 강조하는 구조화된 루브릭을 적용했다.
- 15개 다양한 LLM을 809개 질문과 5,012개 루브릭 기준으로 대규모 평가한 결과, 안전 인식·체계적 프로그램 설계·개인화 능력에서 큰 성능 편차가 드러났다.
- LLM이 지식은 있어도 실제 적용에서는 부족한 '아는 것과 행하는 것의 간극'을 확인했다.
- 이 프레임워크는 스포츠·헬스 AI 응용의 첫 평가 표준을 세우고 안전하고 신뢰할 수 있는 맥락 인식형 AI 코칭 시스템 발전의 토대를 마련한다.
- 코드와 데이터는 GitHub에서 공개된다.