기업 문서 RAG를 위한 효율적 청킹 기법 D-RAC 공개
원제 Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion
추천 63댓글 4
Key Point
enterprise RAG 도입 시 문서 처리 비용과 속도가 실무상 가장 큰 병목이며, 이 기법이 정규화 단계에서 극적인 효율 개선을 달성했기 때문이다.
핵심 요약
- Hugging Face가 기업용 RAG 시스템을 위한 Document Retrieval-Aware Chunking(D-RAC) 기법을 발표했다.
- 모든 문서 포맷을 PDF로 정규화한 뒤 멀티모달 LLM으로 단 한 번의 처리만으로 검색 최적화된 마크다운으로 변환한다.
- 표는 자체 포함 문장으로 재작성되고 제목 계층 구조가 보존되며, 청킹은 ID 기반 파싱과 경량 LLM 처리만 거친다.
- RAG-Multi-Corpus 벤치마크의 236개 문서 795페이지를 72분에 처리했으며 오류는 0건이었다.
- 기존 LLM 기반 청킹 대비 출력 토큰을 95.7% 줄였고 비용을 77.8~85.6% 감축하며 처리 속도는 75% 향상했다.
- 500페이지 이상의 문서도 선형적으로 확장 가능하다.