하나의 모델로 모든 형식 파싱하는 유투 옴니 파서 공개

핵심 요약

• 유투 파싱 옴니는 문서, 이미지, 오디오, 비디오를 구조화된 기록으로 변환하는 멀티모달 파서로, 공간과 시간에 기반해 증거를 찾고 인용할 수 있다.
• 모든 모달리티를 하나의 인코더로 처리하고 모든 태스크를 하나의 스키마로 통일한 설계를 기반으로 한다.
• 유투 옴니 인코더는 사전학습 언어모델에서 초기화되어 모든 모달리티를 통일된 시공간 좌표계에서 공유 가중치로 인코딩하며, 퓨전 레이어가 비디오 프레임의 동시 오디오 어텐션을 가능하게 한다.
• 옴니스키마가 10가지 파싱 태스크의 출력을 통일하고, 옴니스키마 인식 정책상 증류(OSAD)라는 자체 진화 학습 절차가 모든 태스크에 걸친 토큰 역할 기반 목표를 제공한다.
• 각 라운드에서 모델은 자신의 정책에 따른 롤아웃을 참조 기반 복사본의 토큰 수준 목표와 비교해 학습하며, 참조본은 학습된 가중치로 갱신되어 파서와 감독이 함께 진화한다.
• 50억 파라미터 단일 체크포인트로 옴니독벤치 v1.6에서 96.96 종합 점수를 달성해 최고 성능을 기록했다.
• 공개 가중치 모델 중 옴니파싱벤치에서 75.08 평균을 기록하며 선두를 유지하고 있으며, 특히 오디오와 비디오 분야에서 우위가 두드러진다.
• 차트 파싱 최고 점수 95.02, 화학 지문 정확도 최고 일치율을 달성했으며, 악보 문자 인식에서는 음악 전문 모델과 동등한 성능을 보이면서도 범용 시스템을 크게 앞선다.
• 코드와 모델 가중치가 공개되어 있다.