마인크래프트 정복하는 비전 언어 행동 에이전트
원제 HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
추천 55댓글 4
Key Point
실제 마인크래프트 환경에서 인간 수준의 자율 행동을 보이는 에이전트가 처음 실현되었으며, 이는 게임 AI뿐 아니라 로봇 제어, 업무 자동화 등 복잡한 실제 환경에서의 에이전트 설계 방식을 재정의할 수 있다.
핵심 요약
- 마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다.
- HiSTEVE는 계층적 VLA 에이전트로, 상위 수준의 조율 계층과 하위 수준의 제어 계층으로 구성되어 있다.
- 조율 계층은 구조화된 메모리로 진행상황을 추적하고 VLM 플래너로 수행 가능한 부작업을 선택하며, 정책 기반 작업 완료 감지기로 부작업 완료 여부를 판단한다.
- 제어 계층은 단일 VLA가 비전 입력과 키보드·마우스 액션으로 모든 부작업을 실행한다.
- GUI와 비GUI 상호작용의 간섭을 줄이기 위해 체제별 RMSNorm 브랜치와 별도의 마우스 이동 토큰 임베딩을 도입했다.
- 세계 지식 주입, 모방 학습, 환경 피드백 강화학습으로 신뢰도와 복구 능력을 개선했다.
- MineStudio Bench에서 원자적 작업 성능 85.0%, OpenHA에서 평균 37.4% 성공률을 달성했고, 처음부터 철곡괭이 제작 같은 장기 작업도 완료할 수 있다.