LLM 에이전트가 스킬을 배우고 다시 쓰게 하는 대화형 학습법
원제 Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills
추천 47댓글 2
Key Point
LLM 에이전트가 작업별 스킬을 효과적으로 학습하고 재사용하는 방법이 개발되면서, 생성형 AI의 작업 자동화 능력이 실무 환경으로 한 걸음 더 나아갔다.
핵심 요약
- 에이전트 스킬은 LLM 에이전트가 한 세션에서 배운 작업 지식을 다른 작업에 재사용하게 하는 기능이지만, 한 번의 성공으로는 절차의 모든 사용 조건을 검증하기 어렵다.
- Socratic Skill Learning(SSL)은 전문가 교수(Educator)와 학생(Student)을 짝지어, 학생이 환경을 직접 조작하고 제안받은 절차를 스스로 검증·수정하며 스킬을 작성하도록 한다.
- 연구팀은 35개 작업 계열과 408개 실행 가능한 사례로 구성된 SkillTransferBench를 만들어 스킬 재사용을 평가했다.
- 주요 평가(22개 계열, 155개 사례)에서 Fixed-Window SSL은 0.801 유틸리티를 달성했고, 스킬 없음(0.723), Trace2Skill(0.761), SKILL-KD(0.751)보다 높았다.
- 세 가지 모델 조합에서 대화형 지도(interleaved guidance)는 전문가 직접 작성과 사후 교수보다 우수했다.
- 프로세스 분석 결과 지도가 학생의 스킬 작성과 패키지 수정에 직접 영향을 미쳤으며, 사례 연구는 학생이 제안된 절차를 테스트하고 개선한 후 나중에 재사용함을 보여준다.
- 고정된 리뷰 윈도우는 새로운 질문 수요가 감소할수록 비용이 커지므로, Issue-Guided SSL은 해결되지 않은 질문들을 추적하여 리뷰를 선택적으로 집중한다.
- Issue-Guided SSL은 주요 코호트에서 Fixed-Window SSL 대비 0.805 유틸리티를 유지하면서 교육자 토큰 61.7%, 전체 획득 토큰 16.9%를 감축했다.