LLM 에이전트의 지속 학습 능력을 측정하는 벤치마크 CLE 공개
원제 Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
추천 52댓글 2
Key Point
LLM이 점진적 경험 누적으로 실제 직무를 수행할 수 있는지 평가하는 새로운 방식이 나왔고, 현존 모델의 이러한 능력이 절반 수준에 불과하다는 객관적 지표를 제시한다.
핵심 요약
- 지속 학습(Continual Learning)은 LLM 에이전트가 경험으로부터 지식을 습득·정제·적용하면서 기존 지식을 보존하는 능력으로, 장기적 학습에 필수적이나 현재 평가는 개별 과제 성능 중심이다.
- 허깅페이스와 도메인 전문가 50명이 개발한 CLE는 120개의 인간 저작 과제로 구성되며, 각 과제는 5단계 계단식 구조여서 총 600개 레벨, 12개 직업 도메인 89개 전문 역할에 걸쳐 있다.
- 에이전트는 각 레벨을 통과해야 다음 레벨을 해제할 수 있고, 뒤의 과제들은 이전 과제에서 축적한 경험에 기반한다.
- 평가 에이전트는 인간이 작성한 루브릭(평가 기준)에 따라 각 제출물을 평가한다.
- 단일 제출 설정과 실패 후 진단 피드백을 받고 한 번 수정하는 설정을 비교했을 때, 피드백과 수정으로 평균 5.3 포인트의 완료 성능 향상을 얻었다.
- 최고 성능 시스템도 전체 레벨의 47.7%만 통과했으며, 5단계를 모두 완료한 과제는 23.3%에 불과해 현존 최신 LLM의 지속 학습 능력이 부족함을 보여준다.
- 이 데이터셋은 LLM을 포스트트레인(post-train)하여 지속 학습 능력을 강화하는 데도 활용할 수 있다.