시각 검색 위한 논리적 추론 모델 LogT 공개
원제 LogT: Logically Think with Images for Visual Search
추천 13댓글 2
Key Point
고품질 학습 데이터로 복잡한 강화학습 없이도 최첨단 성능을 내는 사례로, VLM 기반 시각 추론 분야에서 효율성 패러다임을 바꾸는 연구입니다.
핵심 요약
- 시각-언어 모델(VLM)이 세밀한 시각 탐색을 위해 확대 도구(Zoom-in tool)를 사용하도록 하는 LogT를 제안한 논문이다.
- 기존 방식은 강화학습(RL) 복잡도를 높이거나 도구별 설계를 적용했으나, LogT는 감독학습(SFT) 데이터 품질을 핵심 병목으로 진단했다.
- LogT는 완전 자동화된 SFT 데이터 생성 엔진으로, 논리 체인 기반 추론을 명시적으로 강제하고 인간다운 도구 사용 흔적이 담긴 도전적인 질문-답변 쌍을 생성한다.
- Qwen2.5-VL-7B와 InternVL3.5-8B 두 기본 모델을 이 데이터셋으로 미세조정해 7개 벤치마크에서 평가한 결과, 기존 기술을 능가했다.
- LogT-SFT 기반 Qwen2.5-VL-7B는 선행 방법과 비교해 데이터 3.1배 적게 사용하고 GPU 시간을 120배 이상 절약하면서도 SFT와 RL 모두 적용한 최첨단 모델을 초월했다.
- LogT-SFT에 단순한 RL을 추가 적용하면 복잡한 도구별 RL 설계를 쓴 기존 방법보다 9.59포인트 높은 성능을 달성했다.
- 모델은 더 높은 도구 사용 정확도와 효율성, 보다 구조화되고 논리적으로 일관된 추론 흔적을 보여주며 접근법의 유효성을 직접 입증한다.