같은 모델을 더 좋은 교사로 만드는 자동 학습 최적화
Key Point
성공한 학습 결과물도 비효율적 행동을 담을 수 있다는 근본 문제를 자동 최적화로 해결하는 방식으로, 고정된 모델의 교사 역할을 개선하는 새로운 패러다임을 제시한다.
핵심 요약
- 작업 성공만으로는 어떤 행동을 학습해야 할지 알 수 없어, 성공한 교사의 궤적에도 근거 없는 가정·반복·피상적 검증이 담길 수 있다는 문제를 제시한다.
- 이를 해결하기 위해 자연어 스킬 지시문으로 바람직하지 않은 습관을 억제하고 효과적이지만 과소 대표된 행동을 이끌어내는 Skill-FT 방식을 제안한다.
- LLM 에이전트가 궤적 분석·스킬 설계·데이터 선택·롤아웃 피드백을 통해 이런 개입 전략을 자동으로 개발하는 AutoMaster 시스템을 소개한다.