비디오 AI가 스스로 관찰 방식을 개선한다

핵심 요약

• 비디오 이해 에이전트는 현재의 '하네스(harness, 관찰 장치)'로 수집한 증거만으로는 실패 원인을 완전히 파악할 수 없다는 문제가 있다.
• Video-RSI라는 새로운 프레임워크를 제시하는데, 언어 모델 스스로가 자신의 하네스를 수정해서 비디오를 재조사한다.
• 에이전트는 원본 학습 영상에 돌아가 추가 관찰을 통해 여러 실패 가설을 검증하고, 기존 실행 흔적을 벗어난 증거로 개선안을 뒷받침한다.
• 비용 인식 하네스 진화 기법은 이 진단을 재사용 가능한 개선안으로 바꾸고, 정확도와 시각 처리 비용을 모두 고려해 어떤 개선안을 유지할지 결정한다.
• 비디오 이해 벤치마크에서 진화된 에이전트는 정확도를 높이면서 처리 프레임 수를 줄였다.
• 기존 비디오 이해 에이전트와 비교해 경쟁력 있는 정확도-효율성 트레이드오프를 달성했다.
• 이 연구는 비디오 에이전트가 하네스 진화를 통해 증거 수집 및 활용 방식을 스스로 개선할 수 있는 가능성을 보여준다.
• 코드는 GitHub에서 공개되어 있다.