과거 쿼리로 SQL 생성 정확도 50% 끌어올린 MEM-SQL
원제 MEM-SQL: Memory-Empowered Text-to-SQL
추천 17댓글 8
Key Point
Text-to-SQL 모델이 상용 BI 도구와 데이터 분석 시스템에 점점 더 도입되는 상황에서, 같은 데이터베이스 위에서 여러 질문이 이루어지는 실제 워크플로우를 반영한 평가 방법과 개선 방안은 실무 성능을 크게 좌우한다.
핵심 요약
- Text-to-SQL 시스템은 자연어 질문을 복잡한 데이터베이스의 SQL 쿼리로 변환하는데, 기존 벤치마크는 독립된 질문만 평가해 같은 데이터베이스의 이전 쿼리 결과를 재사용하는 실제 시나리오를 반영하지 못한다.
- 연구팀은 HARE(History-Aware Text-to-SQL Benchmark) 벤치마크를 제안했으며, 823개의 검증된 쿼리 풀에서 파생된 1,600개의 요청으로 구성되고, 각 요청이 어떤 컴포넌트를 유지하고 어떤 편집이 필요한지 기록한다.
- MEM-SQL 방법은 완전한 쿼리 템플릿, 재사용 가능한 SQL 블록, 도메인 개념에서 스키마 요소로의 매핑을 저장하며, 각 레이어의 요구 사항이 임계값을 초과할 때만 해당 레이어를 사용한다.
- On-demand Schema Linking(OSL)은 어떤 레이어도 조건을 만족하지 못하거나 생성기가 검색된 증거가 불충분하다고 판단할 때만 스키마를 참조한다.
- 여섯 개의 언어 모델에서 직접 생성 시 37.1%의 실행 정확도가 MEM-SQL로는 50.0%로 상승하고, 평균 입력 토큰은 76.6% 감소, 지연 시간은 68.8% 감소한다.
- 여러 검증된 쿼리를 재사용하는 요청이 병목인데, 정확도가 56.7%에서 29.7%로 저하되며, 특히 재사용 컴포넌트를 새로운 쿼리 구조에 배치하거나 공유 조인과 결합할 때 가장 크게 떨어진다.
- OSL을 세 가지 다른 메모리 설계에 적용하면 일관되게 생성 비용이 감소하지만, 정확도 개선 효과는 메모리 설계에 따라 달라진다.
- 검증된 기록은 생성을 더 정확하고 저렴하게 만들 수 있지만, 그 가치는 유지된 증거와 시스템이 스키마를 참조하는 시점에 따라 달라진다.