AI 에이전트 학습용 실제감 있는 사용자 시뮬레이터 MIMESIS 개발
원제 MIMESIS: Learning User Simulators as Training Environments for Interactive Agents
추천 23댓글 2
Key Point
에이전트 학습에 실제 사용자처럼 행동하는 시뮬레이터를 사용하면 데이터 수집 비용을 크게 줄이면서도 더 나은 에이전트를 만들 수 있다는 것을 입증했기 때문이다.
핵심 요약
- 대화형 언어 에이전트 학습에는 풍부한 사용자 상호작용이 필요하지만, 인간 피드백 수집은 비용이 크고 확장성이 낮아 시뮬레이션된 사용자가 필요하다.
- 기존 에이전트 학습 프레임워크는 기성 LLM 어시스턴트를 사용하는데, 이들은 너무 협력적이고 명확하며 동질적이어서 실제 사용자와 차이가 난다.
- MIMESIS는 인간 대화 데이터와 13가지 현실적 행동 패턴 레이블로 학습한 전용 사용자 시뮬레이터로, 9B 모델이 SOUL-Index 65.7을 달성했다.
- Claude Opus-5 대비 행동 충실도 13.4포인트 향상, Turing 거리 3.6포인트 감소로 실제감에서 우수하다.
- MIMESIS 시뮬레이터로 다중 턴 강화학습 기반 에이전트를 학습하면 8개 환경 모두에서 GPT-5.5 학습 에이전트보다 성능이 높고, 미시행 시뮬레이터 9개에 대한 일반화 능력이 뛰어나다.
- 코칭된 온폴리시 자기 증류(CSD) 기법은 시뮬레이터의 내부 추론 흔적을 에이전트 피드백으로 변환해 사용자 요구 대응 방식을 개선하도록 한다.
- CSD는 희소 보상을 넘어 토큰 수준의 밀집 감독을 제공하여 9개 평가 사용자 모델 전체에서 추가 성능 향상을 가져온다.