Hugging Face 논문AI · 머신러닝

AI 에이전트 워크플로우 실행 로그 41만 건 공개

원제 GH-AWTrace: A Large-Scale Dataset of GitHub Agentic Workflow Execution Logs

추천 14댓글 2Jasem Khelifi, Hao Li, Ali Ouni 외
Key Point

GitHub 에이전트가 실제로 어떻게 작동하고 실패하는지를 대규모로 추적한 첫 공개 데이터셋으로, 에이전트 시스템의 신뢰성과 실행 메커니즘 연구에 직접 활용될 수 있다.

핵심 요약

  • GitHub의 자동화 워크플로우를 실행하는 AI 에이전트들의 동작을 추적하는 대규모 데이터셋 GH-AWTrace를 발표했다.
  • 5,051개 저장소에 걸친 25,014개의 GitHub 에이전트 워크플로우와 4,112,526건의 실행 기록, 562,877개의 비어있지 않은 실행 로그를 연결했다.
  • 실행 로그는 GitHub의 보관 기한 제약을 반영하면서도 저장소 메타데이터 및 생성된 워크플로우 설정과 연결되어 있다.
  • 로그는 도구 접근 거부, 제공자 오류, 에이전트의 방식 변화, 에이전트 간 위임 등 실제 실행 중 일어나는 일들을 노출한다.
  • 이를 통해 실행 실패, 도구 사용, 보고된 실행 결과와 실제 작업 진행 상황 간의 관계를 연구할 수 있다.
  • 워크플로우마다 데이터 커버리지가 다르며, 로그는 에이전트의 전체 궤적이 아닌 부분적 관찰을 제공한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗