로봇의 조작 기술을 영상에서 자동 추출하는 방법

핵심 요약

• 조작 행동은 대상·장면마다 다르지만 재사용 가능한 기술의 작은 집합으로 구성되며, 이런 기술을 활용한 계획 수립이 에이전트의 새로운 작업 일반화를 돕는다.
• 연구팀은 영상 스트림에서 재사용 가능한 기술을 지속적으로 발견하는 '스트리밍 체현화된 기술 발견(SESD)' 문제를 정의하고, 이를 측정하는 Video2Skill 벤치마크를 개발했다.
• 벤치마크는 로봇 테이블탑 조작과 인간의 주방 활동을 다루며 세 가지 핵심 능력을 테스트한다: (i) 시간상 조작 사건 위치 파악, (ii) 같은 변환의 사건 그룹화, (iii) 기존 기술 재사용 vs 새 기술 생성 판단.
• 19개 오픈소스 비전-언어모델(VLM) 평가 결과, 많은 모델이 임의 수준에 가까운 성능을 보였으며 모델 규모 증가가 일관된 성능 향상을 가져오지 못했다.
• 인식 과정과 라이브러리 업데이트 결합 방식에 따라 오류 패턴이 달라진다: 통합 모델은 서로 다른 변환을 하나의 기술로 병합하고, 텍스트 설명으로 업데이트하는 모델은 반복되는 기술을 중복 생성한다.
• 반사실적 라이브러리 상태 재균형화(CLaRe)를 포함한 지도학습 미세조정은 그룹화 성능을 개선하지만, 더 근본적인 병목을 드러낸다: 훈련된 모델은 익숙한 기술을 통합하지만 라이브러리 확장은 거의 하지 않는다.
• 훈련된 모델의 라이브러리 크기는 참조 크기의 절반 이하로 정체되며, 훈련 중 보지 못한 변환은 시간상 위치는 파악되지만 새로운 기술로 지정되는 경우가 거의 없다.
• 기존 기술이 불충분한 상황을 인식하는 것이 핵심 과제로 도출된다.