시계열 데이터 분석 AI, 실패 기록으로 스스로 진화

핵심 요약

• 시계열 데이터 분석 질문에 답하는 AI 에이전트는 외부 도구를 호출해 일하는데, 도구 구성이 사전에 고정되어 있어 문제가 발생한다.
• 첫째, 21개의 전문가 선정 도구 라이브러리는 일부 작업에는 도움이 되지만 다른 작업에는 해를 끼쳐 이상 탐지 정확도를 모든 모델에서 하락시킨다.
• 둘째, 한 번의 일반 자체 수정은 147개 답변을 바꾸고 그 중 56개를 깨뜨리는데도 최종 점수는 1점 미만으로만 변한다.
• 근본 원인은 각 질문마다 도구의 효용이 다르지만, 도구는 전체 평균 하나로만 판단되어 미리 공급된다는 간극이다.
• 이를 해결하기 위해 TimeEvo 기법을 제안한다: 에이전트의 실패 사례들을 역량 부족으로 분류하고, 각각에 대한 측정 방법을 계획한 후, 그 격차를 채우는 증거 기반 도구를 합성하고, 쌍으로 된 선별 게이트를 통해서만 도구를 추가한다.
• 10개의 시계열 질문 답변 작업과 3가지 기본 모델로 실험한 결과, 빈 라이브러리에서 시작한 TimeEvo는 모든 작업과 모든 모델에서 정확도를 개선했다.
• 저비용 모델에서 성장한 도구 라이브러리를 더 강력한 모델에 설치했을 때도 성능 향상이 유지되었다.