프로덕션 RAG 시스템을 7주에 실전 구축하기

핵심 요약

• arXiv 논문을 자동으로 수집하고 분석하는 AI 연구 어시스턴트를 직접 만드는 실습 강좌다.
• Week 1-7에 걸쳐 Docker, FastAPI, PostgreSQL, OpenSearch, Airflow 등 현대적 스택으로 인프라를 구축한다.
• Week 2는 arXiv API와 Docling을 이용한 PDF 파싱으로 데이터 파이프라인을 자동화한다.
• Week 3-4에서는 BM25 키워드 검색과 Jina AI 임베딩을 결합한 하이브리드 검색을 구현한다.
• Week 5는 Ollama 로컬 LLM을 통합해 완전한 RAG 파이프라인을 완성하고, 프롬프트 최적화로 응답 속도를 6배 향상시킨다.
• Week 6에서는 Langfuse 추적과 Redis 캐싱으로 프로덕션 모니터링을 구축하며, 캐싱으로 150-400배 성능 개선을 달성한다.
• Week 7은 LangGraph로 멀티스텝 의사결정 에이전트를 구현하고, Telegram 봇으로 모바일 접근성을 제공한다.
• 에이전트는 쿼리 유효성 검사, 문서 관련성 평가, 자동 쿼리 재작성, 도메인 외 탐지를 통해 환각을 방지한다.
• 모든 코드는 Python으로 작성되며, Docker Compose로 한 번에 모든 서비스를 띄울 수 있다.
• 매주 노트북과 블로그 포스트로 단계별 학습 자료를 제공하며, 개발자가 직접 손으로 구현하며 배운다.
• Jina AI 키(Week 4+), Telegram 봇 토큰(Week 7), Langfuse 키(선택사항)만 필요하며 나머지는 로컬에서 무료로 실행된다.
• 강좌는 완전 무료이며, 실제 기업이 RAG를 구축하는 방식—검색 기초 먼저, AI는 그 위에—을 따르는 것을 강조한다.