데이터 레이크 분석 AI, 스스로 도구를 진화시킨다
원제 Unsupervised Tool Evolution for Coding Agents in Data-Lake Analytics
추천 12댓글 2
Key Point
데이터 분석 작업을 자동화하는 AI 에이전트가 라벨 없이 스스로 도구를 학습·개선할 수 있다는 점이 실무 적용에 중요하며, 특히 단계 예산 제한이라는 현실적 제약에서 성능 향상을 달성한 것이 의미 있다.
핵심 요약
- 데이터 레이크 분석을 위한 코딩 에이전트가 매번 작업을 처음부터 다시 하는 문제를 해결하기 위해, 재사용 가능한 도구를 자동으로 구축하고 개선하는 '도구 진화' 방식을 제안했다.
- 라벨 없이 도구를 진화시키는 TEAL(Tool Evolution for Analytics over data Lakes)은 두 에이전트가 서로 다른 증거에서 도구를 제안한다: Explorer는 데이터 레이크 자체에서, Critic은 Worker의 작업 궤적에서 도구를 제안한다.
- 제안된 변화는 Worker가 재실행 시 추가 단계 없이 도구를 채택하고, 변경된 답변이 궤적 증거로 뒷받침될 때만 유지된다.
- 실제 질문이 없을 때 도구 진화를 위한 합성 질문을 생성하는 TEAL-Q도 소개되었다.
- KramaBench와 LakeQA에서 4가지 Worker LLM으로 평가한 결과, 단계 예산 제한(질문당 최대 단계 수) 조건에서 TEAL이 모든 Worker의 성능을 개선했다.
- Sonnet-5는 15단계 제한에서 KramaBench에서 9.3점, LakeQA에서 21.7점 향상되었다.
- 더 엄격한 예산이 진화를 위한 더 나은 피드백을 제공하며, 20단계에서 진화한 라이브러리를 30단계에서 그대로 배포할 때 LakeQA에서 68.3점을 기록했다.
- 이는 기존의 30단계에서 직접 진화한 라이브러리(64.2점)와 기준선(59.6점)을 모두 초과한다.
- 합성 질문에서 진화한 라이브러리가 실제 질문에서 진화한 라이브러리와 비슷한 성능을 보여, 라벨 없이도 유용한 도구를 진화시킬 수 있음을 증명했다.