Simulink 모델 생성 AI의 진정한 성능을 측정하는 벤치마크
Key Point
현재 AI 에이전트의 Simulink 모델 생성은 외형 유사도 중심으로 평가되고 있으나, 실제 엔지니어링 요구사항을 만족하는지는 전혀 다른 문제이기 때문입니다.
핵심 요약
- 기존 Simulink 벤치마크는 생성된 모델의 컴파일·실행 여부와 외형 유사도만 평가해 엔지니어링 요구사항 충족 여부를 확인하지 못한다.
- SimuVerity는 10개 엔지니어링 도메인에서 101개의 텍스트-실행파일 Simulink 모델 생성 작업으로 구성된 벤치마크를 제시한다.
- 각 작업마다 실행 가능한 시스템 프로파일이 엔지니어링 사양을 정의하고, 4가지 시뮬레이션 시나리오 세트가 테스트 조건이 된다.