0.8B 모델 OvisOCR3, 문서 인식부터 표 재구성까지 한 번에
원제 OvisOCR3 Technical Report
추천 29댓글 2
Key Point
작은 0.8B 모델로 5개 OCR 작업을 한 번에 처리하며 전문가 모델들을 능가하는 방법론이 효율적인 문서 자동화를 필요로 하는 기업 시스템에 직접 활용될 가능성이 높다.
핵심 요약
- 문서 파싱, 일반 OCR, 핵심 정보 추출(KIE), 문서 그림 캡셔닝, 교차 페이지 표 재구성을 하나의 0.8B 모델로 통합하는 OvisOCR3를 발표했다.
- 실제 및 합성 데이터로 사전 학습한 뒤, 서로 다른 데이터량과 응답 길이를 가진 작업 간 감독을 균형 잡기 위해 도메인 균형 중간 학습을 적용했다.
- 5개의 도메인별 4B 교사 모델에서 지식을 전이하는 다중 교사 정책상 증류(multi-teacher on-policy distillation)를 거친 뒤, 도메인별 보상을 사용한 혼합 작업 강화 학습을 수행했다.
- OmniDocBench v1.6에서 96.74의 종합 점수, OCRBench v2 영문 65.9점·중문 61.3점을 달성하며 OCR 벤치마크에서 1위를 차지했다.
- PureDocBench, Real5-OmniDocBench, MDPBench에서 최고 점수를 얻었고, 4개 KIE 벤치마크 모두에서 기존 모델을 능가했다.
- DocFigCapBench에서 최고의 위치 결정 F1을 기록했으며 캡션 점수는 Qwen3.8-Max에 근접했다.
- CrossTabBench 관계 F1과 MPDocBench-Parse 잘린 표 TEDS에서 교차 페이지 표 처리 성능이 우수하다.
- 0.8B 크기의 컴팩트한 모델이 5가지 OCR 관련 작업 전반에 걸쳐 강한 성능을 낼 수 있음을 보여준다.