자연언어 대신 코드로 영상 설명하기

핵심 요약

• 영상 캡셔닝은 시각 정보를 간결한 설명으로 보존하는 작업인데, 자연언어로 미세한 공간 구조와 시간 역학을 정확히 표현하면 설명이 길어지고 모호해질 수 있다.
• 논문은 실행 가능한 프로그램을 영상 설명으로 사용하는 새로운 패러다임을 제시한다. 그래픽 원시 요소와 시간 함수를 통해 시각 콘텐츠를 표현하는 방식이다.
• 코드 캡션과 자연언어 캡션을 질문 응답과 영상 재구성 작업으로 비교한 결과, 코드 캡션이 더 높은 추론 정확도와 재구성 충실도를 달성했다.
• 코드 캡션의 실현 가능성은 현재 멀티모달 대형 언어 모델(MLLM)이 충실한 코드 캡션을 생성할 수 있는지에 달려 있다.
• 이를 체계적으로 평가하기 위해 CodeCap-Bench를 소개한다. 구조화된 2D 콘텐츠 5개 카테고리의 323개 영상과 세밀한 주석, 다단계 평가 프레임워크로 구성되어 있다.
• 광범위한 실험 결과 주요 상용 MLLM은 유망한 코드 캡셔닝 능력을 보이지만 복잡한 시간 역학을 충실하게 포착하지 못하며, 오픈소스 모델은 훨씬 뒤떨어져 있다.