Simulink 모델 생성 AI의 진정한 성능을 측정하는 벤치마크

핵심 요약

• 기존 Simulink 벤치마크는 생성된 모델의 컴파일·실행 여부와 외형 유사도만 평가해 엔지니어링 요구사항 충족 여부를 확인하지 못한다.
• SimuVerity는 10개 엔지니어링 도메인에서 101개의 텍스트-실행파일 Simulink 모델 생성 작업으로 구성된 벤치마크를 제시한다.
• 각 작업마다 실행 가능한 시스템 프로파일이 엔지니어링 사양을 정의하고, 4가지 시뮬레이션 시나리오 세트가 테스트 조건이 된다.
• 계층적 평가기는 산출물 전달·기본 실행 가능성·엔지니어링 적격성을 먼저 검증한 후, 정확도·출력 품질·물리 모델 충실도·제어 및 인과 관계 무결성·동작 범위 견고성·동적 응답 등 6개 차원에서 점수를 매긴다.
• 6개 에이전트 시스템 평가 결과, 최고 성과 시스템도 전체 점수 42.86에 그쳤다.
• 외형적 유사도가 엔지니어링 성능의 좋은 대리 지표가 아니며, 적격 구현 생성과 다차원 요구사항 충족 양쪽 모두에서 능력 한계가 드러난다.
• 점수가 높은 모델도 심각한 시각적 레이아웃 문제를 보이는 경우가 있어, SimuVerity는 AI의 엔지니어링 능력을 체계적으로 평가하고 Simulink 모델 생성 실패 원인을 진단하는 기초를 제공한다.