CAD 설계 작업 자동화하는 AI 에이전트 벤치마크 공개
Key Point
CAD 같은 복잡한 전문 소프트웨어 자동화는 AI 에이전트의 실제 업무 적용에서 중요한 과제인데, 이를 체계적으로 평가할 첫 대규모 벤치마크가 공개됨으로써 해당 분야 연구 방향을 제시한다.
핵심 요약
- Hugging Face와 연구팀이 FreeCAD 기반 장시간 컴퓨터 사용 벤치마크인 CADWorld를 발표했다.
- 스케치·부품 모델링·조립·CAM·FEM·측정·메시 처리·기술 도면 등 11개 기계 설계 워크플로우에서 총 200개 작업을 제공한다.
- AI 에이전트는 스크린샷과 GUI 동작으로 작업하며, 저장된 FreeCAD 파일의 기하학적 속성·제약 조건·제조 상태·시뮬레이션 결과 등을 검증한다.
- 현재 최고 성능 에이전트도 17.5% 성공률에 그친 반면, 전문가 기준은 87.0%로, 일반 GUI 조작 능력과 엔지니어링 워크플로우 신뢰성 사이의 큰 격차를 드러냈다.