언어모델 에이전트의 온라인 학습을 위한 재귀형 프레임워크 제안
원제 Recurrent Harness for Agentic Continual Learning
추천 18댓글 2
Key Point
장시간 상호작용을 처리하는 AI 에이전트의 지속적 학습 능력이 추론 정확도와 안정성에 직결되기 때문에, 오직 온라인 스트림만으로 효과적인 적응을 가능하게 하는 기술이 실제 배포에 중요하다.
핵심 요약
- 언어모델 에이전트가 장시간 상호작용 스트림에서 분포 변화에 온라인으로 적응해야 하는데, 기존 에이전트 프레임워크는 순방향 정보 흐름만 사용하거나 재학습용 추가 데이터가 필요했다.
- ReHarness는 순방향 읽기·쓰기와 역방향 수정을 결합한 재귀형 하네스 프레임워크를 제안해, 순수한 온라인 스트리밍 프로토콜 하에서 연속 학습을 지원한다.
- 각 인스턴스 이후 결과 궤적을 피드백으로 삼아 해당 인스턴스에서 검색한 반영(reflection)을 수정함으로써, 텍스트 기반 하네스 상태를 통해 피드백을 역방향으로 전파한다.
- 3개의 연속 학습 벤치마크와 3가지 언어모델 백본에서 ReHarness는 기존의 원문 기반, 메모리·반영 기반, 프롬프트 최적화 방식들을 일관되게 능가했다.
- 분석 결과 ReHarness는 근거 기반의 의미 있는 수정을 생성하고, 분포 변화 시 과도하게 일반화된 경험을 수정하며, 연속 학습 과정에서 안정성과 가소성을 모두 향상시킨다.