성공한 궤적도 학습 데이터로 부족한 이유
원제 Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents
추천 359댓글 3
Key Point
기존에 성공한 상호작용만 학습 데이터로 사용하는 방식의 근본적 문제를 제시하고, 다단계 의존성과 결정 근거를 모두 만족하는 상호작용을 설계하는 방법을 제안하여 에이전트의 학습 효율을 크게 개선한다.
핵심 요약
- 도구 사용 에이전트 학습에서 성공한 상호작용 궤적도 여러 단계의 의존성을 놓치거나 에이전트가 실제로 볼 수 없는 정보를 바탕으로 한 행동을 포함할 수 있다.
- 효과적인 궤적 감독을 위해서는 중요한 관찰-행동 의존성이 모두 표현되는 구성 커버리지와 각 행동이 에이전트의 학습 가능한 상호작용 이력으로 정당화되는 결정 기반이라는 두 가지 조건이 필요하다.
- Trajectory2Gym은 지원이 부족한 구성 구조 주변에 실행 가능한 상호작용을 구성하고, 실제 실행에서 정당화된 결정들만을 감독 신호로 사용한다.
- 구조 지원 선택이 생성된 경험을 할당하고, 부모 정규화 감독 미세 조정이 의미론적 상호작용을 학습 가중치의 단위로 유지한다.
- 성공한 궤적의 수집 대신 학습 가능한 상호작용 경험의 의도적 구성으로 궤적 생성을 재구성한다.
- 5가지 Qwen 스케일에서 Tau1, Tau2, BFCL 벤치마크를 모든 테스트 규모에서 개선해 동일 가중 3벤치 평균을 16.9~29.8 포인트 향상시켰다.
- 성과는 나중의 결정이 이전 관찰과 피드백에 의존하는 상태 유지 및 다중 턴 상호작용에서 가장 크다.
- 도구 사용 에이전트의 확장은 단순히 성공한 궤적을 더 많이 수집하는 것이 아니라 의존성이 표현되고 에이전트의 가시 이력에서 학습 가능한 상호작용을 구성하는 것에 달려 있다.