실시간으로 작업 실수를 감지하는 비디오 AI 모델
원제 Online Mistake Detection in Instruction-Conditioned Procedural Video
추천 11댓글 2
Key Point
실시간 작업 모니터링 AI가 필요한 산업(제조, 의료 절차 교육, 로봇 보조)에서 실제 적용 가능성을 높인 연구로, 기존 오프라인 방식의 한계를 온라인 감지로 극복했다.
핵심 요약
- 영상 속 사람의 절차적 작업을 모니터링할 때 실수를 실시간으로 감지해 복구할 기회를 주는 AI 모델을 연구했다.
- 일인칭 비디오, 작업 지시문, 이전 예측 정보만으로 현재 진행 중인 행동 단계를 파악하고 시간상 위치를 특정한다.
- 각 행동 시도를 올바름, 수정, 실수(slip), 정정, 추가 행동 등으로 분류하며, 생략된 단계는 비디오 끝난 후에 판정한다.
- 모듈식 파이프라인(단계 식별 → 시간 위치 파악 → 실행 검증)과 모든 작업을 한 번에 처리하는 단일 모델 두 가지 방식을 비교했다.
- 감시된 학습을 지원하기 위해 오류 비디오를 포함한 EgoPER 데이터셋을 재구성했다.
- 단계 분할 성능은 유사하나(F1@0.5: 93.6% vs 92.1%), 단일 모델의 실수 감지 성능이 더 높다(84.1% vs 80.7%, slip 감지는 56.4% vs 37.5%).
- 모듈식 모델은 단계 간 오류 전파가 성능을 낮추는 것으로 분석된다.
- 테스트 비디오에서 두 방식 모두 기존 공개된 AEM, ESTANet 모델을 능가했다.