NVIDIA/SkillEvaluator
엔비디아, AI 에이전트 스킬 평가 프레임워크 공개
원제 NVIDIA/SkillEvaluator
스타 1,657당일 +122Python
Key Point
에이전트의 각 스킬이 실제로 작업 성능을 높이는지를 자동으로 검증하는 CI/CD 통합 시스템이 공개되어, AI 에이전트 개발 파이프라인의 품질 관리 방식이 변하고 있다.
핵심 요약
- NVIDIA SkillEvaluator는 AI 에이전트 스킬의 효과를 측정하는 오픈소스 도구로, 품질 검사, 의미적 중복 감지, 합성 평가 데이터셋 생성, 라이브 에이전트 평가를 지원한다.
- 스킬은 Agent Skills 명세에 따라 정의된 명령어와 지원 파일들의 폴더이며, 평가자는 라이브 실행을 통해 스킬 포함 여부에 따른 작업 결과 변화를 비교한다.
- GitHub나 GitLab CI 환경에서 즉시 사용할 수 있는 워크플로우 템플릿을 제공하여 추가 코드 작성 없이 품질 검사와 SkillSpector 보안 스캐닝을 수행할 수 있다.
- Tier 1(검증): 스킬 안전성과 형식 검사, Tier 2(중복 제거): 의미적 중복 및 겹침 감지, Tier 3(라이브 평가): 에이전트 동작에 미치는 실제 영향 측정으로 구성된다.
- Tier 1은 SkillSpector, Gitleaks 등 정적 스캐너를 사용하며 LLM 검사 옵션을 지원한다.
- Tier 2는 임베딩과 채팅 기능이 필요하고, 스킬 카탈로그를 통해 스킬 간 비교 평가가 가능하다.
- Tier 3는 NVIDIA Build API 키와 Docker 기반 샌드박스(Harbor 프레임워크 기반)를 통해 실행되며, 모델 및 관리형 샌드박스 사용 시 비용이 발생할 수 있다.
- API 키 없이도 정적 품질 검사만 수행할 수 있으며, 이 경우 84.5/100(B) 등의 결정적 품질 점수를 얻는다.
- Tier 1은 항상 필터 역할을 하고, Tier 2는 --no-block-on-dedup 옵션으로 우회 가능하며, Tier 3는 --block-on-agent-eval 옵션으로만 필터가 된다.
- 세 티어는 독립적으로 동작하며 모두 실행하려면 doctor로 준비 상태를 확인한 후 validate 명령으로 자동 실행할 수 있다.
- uv 패키지 매니저(Python 3.13)를 통해 설치되며, 별도의 스탠드얼론 CLI 설치도 지원한다.
- 평가 결과는 JSON 형식 보고서로 저장되고, 선택적으로 GitHub PR에 보고서와 피드백을 게시할 수 있다.
- 논문(arXiv:2608.20614)과 NVIDIA Developer 블로그에서 추가 정보를 제공하며, Apache 2.0 라이선스 하에 배포된다.
저장소 보기 ↗github.com