AI 에이전트 워크플로우 실행 로그 41만 건 공개
원제 GH-AWTrace: A Large-Scale Dataset of GitHub Agentic Workflow Execution Logs
추천 14댓글 2
Key Point
GitHub 에이전트가 실제로 어떻게 작동하고 실패하는지를 대규모로 추적한 첫 공개 데이터셋으로, 에이전트 시스템의 신뢰성과 실행 메커니즘 연구에 직접 활용될 수 있다.
핵심 요약
- GitHub의 자동화 워크플로우를 실행하는 AI 에이전트들의 동작을 추적하는 대규모 데이터셋 GH-AWTrace를 발표했다.
- 5,051개 저장소에 걸친 25,014개의 GitHub 에이전트 워크플로우와 4,112,526건의 실행 기록, 562,877개의 비어있지 않은 실행 로그를 연결했다.
- 실행 로그는 GitHub의 보관 기한 제약을 반영하면서도 저장소 메타데이터 및 생성된 워크플로우 설정과 연결되어 있다.
- 로그는 도구 접근 거부, 제공자 오류, 에이전트의 방식 변화, 에이전트 간 위임 등 실제 실행 중 일어나는 일들을 노출한다.
- 이를 통해 실행 실패, 도구 사용, 보고된 실행 결과와 실제 작업 진행 상황 간의 관계를 연구할 수 있다.
- 워크플로우마다 데이터 커버리지가 다르며, 로그는 에이전트의 전체 궤적이 아닌 부분적 관찰을 제공한다.