게임과 현실 환경을 아우르는 멀티모달 AI 에이전트 'Gamer' 공개
원제 Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
추천 89댓글 4
Key Point
키보드-마우스 궤적 데이터 대규모 학습만으로 게임과 현실 환경 모두에서 작동하는 범용 에이전트를 만들 수 있음을 보여, AI 에이전트의 실용적 확장 경로를 제시한다.
핵심 요약
- Hugging Face가 장시간 작업을 수행하는 범용 시각-언어-행동 기초 모형 'Gamer'를 공개했다.
- 지각·메모리 관리·다단계 추론을 결합한 엔드투엔드 아키텍처로 2D 그래픽 인터페이스와 3D 시뮬레이션 환경 모두 대응한다.
- 수만 시간 분량의 장치 수준 키보드·마우스 상호작용 데이터로 사전학습하며, 시뮬레이션 게임과 체구화 환경의 궤적을 포함해 물리·가상 도메인의 환경 역학을 학습한다.
- 스파스 사고 명령어 튜닝으로 중복 계산을 줄이면서도 복잡한 의사결정에 필요한 추론은 보존한다.
- 안정적인 다중 턴 강화학습으로 장기적 상호작용을 위해 학습하며, 유한 컨텍스트 윈도우·누적 롤아웃 오류·희소 보상 문제를 해결한다.
- 클라우드-엣지 추론 엔진이 수많은 시뮬레이션 게임 환경을 동시 지원하고 무제한 컨텍스트 실행 및 낮은 온라인 추론 지연을 제공한다.
- 여러 도전적인 3D 오픈월드 게임에서 숙련 게이머 수준의 일반화 능력과 효율을 보이며, 2D 게임 벤치마크에서도 경쟁력 있는 성과를 달성한다.
- 반복적인 키보드·마우스 궤적 데이터도 대규모 학습으로 상당한 성능 향상을 얻을 수 있으며, 이는 디지털·물리 세계 양쪽에서 상호작용하는 범용 에이전트 개발 경로를 제시한다.