LLM의 데이터 최적화 능력을 측정하는 벤치마크 AutoDataBench 공개

핵심 요약

• 기존 자동 연구(Auto-research) 벤치마크는 학습 프레임워크, 하이퍼파라미터, 컴퓨팅 예산, 데이터 등 여러 개선 요인이 섞여 있어 어떤 에이전트가 우수한 이유를 특정하기 어렵다.
• 이 논문은 '데이터 인텔리전스'(에이전트가 데이터를 이해·조작·개선하는 능력)에 초점을 맞춘 통제된 테스트베드 AutoDataBench를 제시한다.
• 데이터 진단·조직·구성이라는 개념적 틀로 세 가지 최적화 작업을 구성하고, 다른 변수들은 고정한 채 LLM의 데이터 개선 능력을 평가한다.
• 도구 사용, 검색 증강(retrieval), 지식 주입(knowledge injection) 등을 통해 작업별 자원 제약 하에서 반복 실험으로 학습 데이터를 개선하는 능력을 테스트한다.
• 단순 시행착오를 넘어 데이터-효과 추론(data-effect reasoning)을 보이는지 확인하기 위해, LLM이 학습 전 예측한 결과와 실제 성과를 비교한다.
• 반복 피드백이 LLM의 데이터 변화가 모델 성능에 미치는 영향 이해도를 높이는지 조사한다.
• AutoDataBench 궤적(trajectory)을 학습 중 재사용하면 코딩 작업의 다운스트림 성능이 향상되어, 데이터 인텔리전스 평가뿐 아니라 고품질 학습 데이터 생성 도구로도 활용 가능함을 보인다.
• 코드와 자료는 GitHub에 공개되어 있다.