생성형 이미지 모델을 비전 AI로 변신시킨 오픈 레시피
원제 Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
추천 36댓글 3
Key Point
생성형 AI를 기반으로 한 멀티태스크 비전 시스템의 설계 원리가 완전히 공개되어 연구 재현과 응용이 가능해진 점, 그리고 레전드 앙상블로 추가 학습 없이 성능을 크게 개선하는 방법론이 소개된 점이 중요하다.
핵심 요약
- 기존 Vision Banana 방식을 재현한 Open Vision Banana(OVB)는 사전학습된 이미지 생성 모델을 다중 작업 인식 시스템으로 변환하는 완전 공개 방식을 제안했다.
- OVB는 비전 작업을 조건부 이미지 편집으로 프레임화하며, 색상 인코딩·프롬프트 설계·파라미터 적응·작업 균형 같은 핵심 설계 선택지를 분석했다.
- 4B~9B 파라미터 오픈 가중치 모델과 공개 데이터셋 2.1M~3.8M 학습 쌍을 사용한 OVB는 Cityscapes 제로샷에서 73.9 mIoU로 Vision Banana(69.9)를 앞질렀다.
- 깊이 추정에서도 최첨단 모델에 맞먹는 성능을 보였고, 기존 모델의 이미지 편집 능력은 대부분 유지했다.
- 레전드 앙상블이라는 테스트 타임 스케일링 방식은 여러 색상-클래스 조합으로 이미지를 분할한 뒤 결과를 다수결로 융합하여 Cityscapes에서 최대 8.7 mIoU, COCO-Object에서 15.0 mIoU 향상을 달성했다.
- 참조·추론 분할에서는 Vision Banana에 5점 이내로 근접했으나 인스턴스 분할에서는 격차가 더 컸다.
- 데이터셋 구축·처리 파이프라인, 학습·평가 코드, 최종·중간·ablation 체크포인트를 모두 공개했다.