실험실 절차 설명 영상 생성, 정확성 테스트로 한계 드러나

핵심 요약

• 자동화된 과학실험(SDL)은 AI가 생성한 계획을 로봇이 직접 실행하는 것을 목표로 하지만, 복잡한 실험실 환경에서는 미세한 조작·장시간 절차·변수 많음 때문에 자동화가 어렵다.
• 현실적으로 AI 계획과 물리적 실험 사이에 인간이 필요하며, 실험실 절차는 본질적으로 시각적·공간적이어서 영상이 장비 배치·조작·시간 의존성·상태 변화를 전달하기에 좋다.
• 최근 비디오 생성 모델이 초기 작업 영상과 자연어 명령어로부터 실험 시연을 직접 합성할 수 있게 됐으나, 이런 모델이 실제 실험실 절차를 정확히 전달하는지는 체계적으로 검증되지 않았다.
• LabInstruct 벤치마크는 5개 과학 분야 204개 작업에 실제 실행 영상과 물체·행동·접촉·상태 변화에 대한 구조화된 주석을 담고 있다.
• 8개 최신 이미지-투-비디오 모델을 평가한 결과, 시각적으로는 그럴듯한 생성 영상이 절차적으로는 자주 부정확하여, 시각적 사실성과 실험 지침으로 필요한 신뢰성 사이에 상당한 격차가 있음이 드러났다.