장기 작업 자동화 AI, 밀도 높은 보상으로 학습 난제 해결
원제 Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
추천 96댓글 2
Key Point
장기 자동화 작업의 학습 데이터 부족과 희소 보상 문제를 해결한 구체적인 방법론과 검증 가능한 데이터셋을 제시하여 오픈소스 장기 에이전트 개발의 실질적인 진전을 가능하게 한다.
핵심 요약
- 수 시간에서 수 일에 걸친 장기 과제를 자율적으로 수행하는 에이전트 개발이 주목받고 있으나, 오픈소스 모델들은 학습 데이터 부족과 효과적인 학습 방법 부재로 어려움을 겪고 있다.
- 연구팀은 Tev-Gym이라는 첫 번째 장기 에이전트 학습 데이터셋을 제시했으며, 7개 도메인의 1,170개 검증된 과제 환경을 포함하고 검증 가능한 밀도 높은 진행 보상을 제공한다.
- 잠재 세계 우선 접근법으로 작동하여 먼저 완전하고 정확한 숨겨진 작업 명세를 구성하고, 각 단계마다 예상되는 상태를 지정한 뒤, 과제를 점진적으로 렌더링해 제어 가능한 복잡성과 자연스러운 진행 지표를 제공한다.
- 진행 가능성 보상 형성(PPRS) 기법으로 진행도를 단계별 밀도 높은 보상으로 변환하여 학습 효율을 높이고 기존에는 풀 수 없던 과제를 학습 가능하게 만든다.
- 이 방법으로 학습한 Tev-27B 모델은 Agents' Last Exam의 컴퓨팅·수학 과학(ALE-CM) 도메인에서 실질적인 성능 향상을 달성하며, Pass@5 기준 GPT-6 Astra와 Claude Opus 5 수준에 도달했다.
- ALE 관련 데이터만으로 학습했음에도 Terminal-Bench 3.0·4.0 부분에서 GLM 5.2와 Gemini 3.7 Flash를 초과하는 성능을 보이고, TB 2.1 같은 중기 과제에서는 Claude Opus 4.8 수준의 성능을 기록했다.