LLM으로 BI 작업 자동화…BI-Agent 개발과 벤치마크 공개
원제 BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence
추천 24댓글 2
Key Point
엔터프라이즈 의사결정에 필수적인 BI 작업의 자동화가 기술적으로 가능한 수준에 도달했으며, LLM과 도구 활용·도메인 특화 학습의 조합이 복잡한 실무 문제 해결에 얼마나 효과적인지 보여주는 사례입니다.
핵심 요약
- Power BI·Tableau 같은 비즈니스 인텔리전스 도구의 테이블 식별·데이터 변환·조인 관계 구축 같은 반복적 준비 작업을 LLM이 자동으로 처리하도록 하는 연구를 발표했다.
- 실제 BI 프로젝트에서 추출한 질문과 정답 쌍으로 구성된 'BI-Bench' 벤치마크를 공개했으며, 최신 LLM들도 50% 미만의 정확도만 달성했다.
- 검색·조인·변환 같은 소작업으로 BI 워크플로우를 분해하고 전문화된 데이터 관리 방법을 오케스트레이션하는 'BI-Agent'를 설계했다.
- BI-Agent는 기본 LLM 대비 최대 40%포인트, 후학습(SFT·RL) 적용 후에는 추가로 30%포인트의 정확도 향상을 달성했다.