AI 에이전트는 엔지니어링까지 할 수 있을까
원제 CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design
추천 10댓글 2
Key Point
전문 공학 소프트웨어에서 AI 에이전트의 현주소를 보여주는 지표로, 현재 AI가 복잡한 산업용 도구에서 얼마나 신뢰할 수 있는지 객관적으로 드러낸다.
핵심 요약
- 컴퓨터 사용 AI 에이전트의 성능을 평가하기 위해 기계설계 소프트웨어 FreeCAD 기반의 벤치마크 CADWorld를 개발했다.
- 스케칭, 부품 모델링, 어셈블리, CAM, FEM, 측정, 메시 처리, 기술도면 등 11가지 기계설계 워크플로우 카테고리에 걸친 200개 작업으로 구성됐다.
- AI 에이전트는 스크린샷과 GUI 액션으로 작동하며, 저장된 FreeCAD 산출물의 기하학적 속성, 매개변수 구조, 제약조건, 제조 상태, 시뮬레이션 결과 등을 검증해 성공 여부를 판단한다.
- 현재 7개 에이전트를 평가한 결과 최고 성능 에이전트는 17.5% 성공률을 기록했으나, 인간 전문가는 87.0% 성공률을 달성했다.
- 약한 성능의 에이전트는 유효한 산출물 생성 전에 실패하는 경향을 보이고, 강한 에이전트도 구조적·기하학적 요구사항과 설계 프로세스에서 자주 실패한다.
- 이는 일반적인 GUI 조작 능력과 지속 가능한 엔지니어링 워크플로우의 정확한 실행 사이의 큰 격차를 드러낸다.