VectifyAI/PageIndex
벡터DB 없이 추론으로 문서를 읽는 RAG, PageIndex
원제 VectifyAI/PageIndex
스타 36,918당일 +822Python
Key Point
벡터DB에 의존하지 않고 LLM의 추론으로 문서를 검색하는 새로운 RAG 방식이, 복잡한 전문 문서에서 기존 벡터 검색보다 훨씬 높은 정확도(98.7%)와 낮은 비용(2~16배 절감)을 달성했기 때문이다.
핵심 요약
- PageIndex는 벡터 인덱스 대신 계층 구조의 트리 인덱스를 만들고, LLM의 추론으로 그 트리를 탐색하는 벡터리스 RAG 엔진이다.
- 벡터 RAG는 의미적 유사성으로 검색하지만, 유사성이 반드시 관련성을 의미하지 않는다. PageIndex는 문맥 이해, 도메인 전문성, 다단계 추론이 필요한 금융보고서나 법률 문서에서 더 정확한 관련 정보를 찾는다.
- 인덱싱은 문서마다 트리 구조를 생성하고, 검색은 LLM이 그 트리를 추론하며 탐색하는 두 단계로 진행된다.
- 오픈소스 버전은 로컬에서 텍스트 기반 PDF를 처리하며, 페이지당 약 0.001달러로 인덱싱 비용이 든다. 1000페이지 교과서는 1달러가 조금 넘고 수 분이 걸린다.
- 인덱싱 시간은 문서 길이에 따라 일정하게 증가해, 9~1098페이지 문서는 약 13초~4.5분이 소요된다.
- MMLongBench-Doc-V2의 34개 PDF(1945페이지) 62개 질문으로 벤치마크한 결과, PageIndex는 정확한 검색과 읽기를 보여준다.
- 네이티브 PDF 입력과 비교하면, 52페이지 문서에서 2.1배, 420페이지에서 16.6배 비용이 절감되고, 805페이지 이상에서는 컨텍스트 창 초과로 불가능하다.
- FinanceBench 금융 문서 QA 벤치마크에서 98.7% 정확도를 달성해 벡터 기반 RAG를 크게 앞질렀다.
- PageIndex Cloud는 클라우드에서 인덱싱과 저장소를 관리하며, 텍스트 기반뿐 아니라 스캔 문서와 이미지가 많은 문서도 처리한다. OCR, 이미지 이해, 메타데이터, 폴더 기능이 추가된다.
- 로컬 모드와 클라우드 모드 모두 SDK를 통해 사용할 수 있고, OpenAI Agents나 Claude Agent SDK 같은 다른 에이전트 프레임워크와도 통합된다.
- 8월 2026년 업데이트로 로컬 모드를 추가했고, PageIndex Flash로 텍스트 기반 PDF의 빠른 트리 인덱스 생성을 기본값으로 적용했다.
- PageIndex File System은 클라우드 전용 파일 레벨 트리 인덱싱으로, 단일 문서가 아닌 전체 코퍼스를 추론할 수 있게 한다.
저장소 보기 ↗github.com