에이전트 학습용 대규모 전문직 작업 데이터셋 자동 생성
원제 WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training
추천 14댓글 1
Key Point
대규모 전문직 에이전트 학습 데이터를 자동으로 생성하는 새로운 방법론과 112K+ 규모의 실제 데이터셋, 그리고 검증된 모델을 제시하므로 에이전트 기반 자동화 시스템 개발자들이 참고할 실질적 자산이다.
핵심 요약
- 전문가 에이전트를 지도학습으로 훈련하려면 신뢰할 수 있는 전문직 작업의 시연 데이터가 필요하지만, 작업 정보의 불완전성이 학습을 방해한다.
- WorkFactory는 전문직 의도(intent)로부터 실행 가능한 작업을 자동으로 구성하는 프레임워크로, 정보 수준의 계획 단계에서 의존성과 정보 위치를 명시적으로 그래프화한다.
- 프로브 실행(probe execution) 단계에서 정보 지원의 실패를 감지하고 원래 의도는 유지하면서 작업을 수리한다.
- 612개 직종에 걸쳐 112,686개의 작업을 구성하고, 수집한 교사 궤적(teacher trajectories)으로 Qwen 모델(4B, 27B, 35B-A3B)을 미세조정했다.
- WorkPilot-35B-A3B는 GDPval-AA v2.1에서 879 Elo에서 1565 Elo로 상승했으며, 4개의 전문직 벤치마크 모두에서 기본 모델 대비 개선을 보였다.
- 스케일 분석 결과 모델마다 수확 체감이 나타났고, 실행 길이는 처음 증가했다가 감소하는 패턴을 보였다.
- 제어된 성분 분석에서 계획 단계와 수리 단계가 프로브로 진단된 작업 환경 결함을 줄이고 하위 성능을 개선하는 것으로 확인됐다.
- 데이터와 모델은 GitHub에서 공개되었다.