LLM 에이전트, 학습 데이터를 자동으로 개선하는 시스템
원제 AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
추천 37댓글 4
Key Point
자동화된 데이터 개선이 단일 기능 강화가 아니라 다각적 접근에 달려 있다는 점을 보여주며, 실제 개선 수치(IFEval +6.5~+9.9)로 멀티에이전트 방식의 실질적 효과를 입증한다.
핵심 요약
- 언어모델 에이전트가 지도학습 미세조정(SFT) 시 학습 데이터 개선에 가장 많은 시간을 쓰지만, 기존 시스템은 고정된 풀에서 행을 선택하거나 생성기를 호출하는 단 한 가지 방식만 제공한다.
- 연구팀은 인간 데이터 엔지니어처럼 비율 조정, 가지치기, 수리, 교체, 합성 등 다양한 데이터 조작 기능을 수행할 수 있는 에이전트 시스템을 설계했다.
- 단일 에이전트 방식은 비율 조정 하나의 행동만 반복하며 컨텍스트를 낭비해 성능이 개선되지 않았다.
- AutoSFT는 메타 에이전트가 실행과 분석을 분리하고, 여러 각도에서 제안을 수집한 뒤 합성 서브에이전트를 호출하는 멀티에이전트 시스템이다.
- 실행 분리만으로 컨텍스트 손실을 50% 줄였고, 분석 서브에이전트 추가로 IFEval 점수가 +6.5 올랐으며, 합성 기능으로 IFEval +3.4·IFBench +2.9를 달성했다.
- 코드 작업에서도 분석 에이전트가 단일 에이전트 대비 MBPP+ 점수를 +3.7 향상시켰다.
- 모든 실험에서 매 라운드마다 기본 모델부터 재학습해 각 요소의 효과를 정확히 측정했으며, 연구진은 SFT 데이터 자동화에는 강한 단일 기능보다 다양한 데이터 조작 기능 구현이 더 중요하다고 결론내렸다.