AI 에이전트를 위한 로컬 검색 엔진 XERJ 출시

핵심 요약

• XERJ는 Rust로 작성된 로컬 AI 검색 엔진으로, 폴더를 자동으로 인덱싱해 코드·문서·로그·PDF 등을 검색·RAG·보안 감사·에이전트 메모리용으로 사용할 수 있다.
• 기존 grep/sed 대비 40배 적은 토큰으로 데이터를 인덱싱하며, Elasticsearch 호환 API를 제공해 기존 클라이언트와 도구가 그대로 작동한다.
• 참고 코딩(reference coding) 사용 사례에서 실측한 결과, grep 기반 에이전트 대비 출력 토큰 2.7배 감소, 메모리만 사용할 때 대비 26배 감소를 달성했고 현장 보고에서는 약 5배의 토큰 절감이 보고된다.
• tree-sitter를 통한 코드 파싱으로 소스 파일은 심볼과 라인 번호 포함한 AST 인식 형태로 인덱싱되며, CSV·JSON·XML·SQLite·Jupyter 노트북 등 다양한 형식을 자동으로 감지해 처리한다.
• Elasticsearch 8.13.4와 벤치마크 비교에서 취합 처리량 1.72배, 디스크 사용량 1.61배 감소를 기록했다.
• 단일 스레드 기준 약 1,500개 파일/초로 처리하며, 바뀐 부분만 재인덱싱하는 증분 인덱싱으로 일반적으로 전체 시간의 95% 이상을 단축한다.
• 보안 모델은 개발 머신용으로 설계되어 기본 상태에서 127.0.0.1만 바인딩하고, --insecure 플래그는 TLS·API 키 인증을 비활성화한다.
• Model Context Protocol을 통해 데스크톱 어시스턴트에 `xerj mcp` 명령으로 연결 가능하며, 검색·벡터·하이브리드 검색·에이전트 메모리·지식그래프 기능을 MCP 도구로 노출한다.
• 기본 어휘 임베더는 오프라인이지만, 신경 모드는 로컬에서 준비된 모델 파일이 필요하며, 선택적 리랭킹 기능은 TypeSafe AI의 Jev 서비스를 사용할 수 있다.
• 지역 리랭킹(POST /v1/systemone)은 이미 라벨된 예제로 학습한 가장 유사한 문서를 비교하는 방식으로 작동하며, AG News 데이터셋에서 92% 정확도를 달성한다.
• Apache 2.0 라이선스이며, 필드 보고서(한 마크다운 파일) 제출을 커뮤니티 기여의 기본으로 하고 있다.
• 에이전트는 MCP 설정에 절대 경로를 명시하거나 인증이 필요한 경우 admin.key를 XERJ_AUTH로 전달해야 한다.