에이전트가 직접 학습 환경을 설계하는 자동화 시스템 등장

핵심 요약

• 터미널 에이전트의 강화학습 훈련에는 다양하고 검증 가능한 환경이 필요하지만, 지금까지 환경 설계는 인간 연구자가 수행해야 했다.
• AutoEnvScaling은 환경 설계를 터미널 작업으로 재정의해 에이전트가 자동으로 학습 환경을 생성하도록 한다.
• 제안 에이전트가 풀이 에이전트의 실행 롤아웃을 바탕으로 새로운 강화학습 환경을 구축하고, 그 결과가 다음 훈련 라운드를 안내한다.
• 프롬프트만으로 생성하는 방식 대비 유효한 환경 생성률을 25배 높이면서 환경당 비용은 75% 절감했다.
• Qwen 3.5-35B-A3B 모델이 AutoEnvScaling 환경에서 훈련한 결과 Terminal-Bench 2.1에서 기준선 대비 4.3점 향상되었다.
• 같은 모델이 환경 생성과 풀이 두 역할을 동시에 수행하는 재귀적 자기개선(RSI)을 시도하면 Terminal-Bench 2.1에서 12.2점 향상, Terminal-Bench 4.0에서 1.6점에서 3.2점으로 올랐다.
• 소프트웨어 엔지니어링, 컴퓨터 활용, 전문 업무, GPU 커널 프로그래밍 등 다양한 에이전트 도메인에서 환경 생성이 가능하다.
• 이 방식은 에이전트가 자신의 학습 환경을 직접 구축하게 함으로써 인간 의존성을 줄이고 재귀적 자기개선으로의 경로를 제시한다.