같은 모델을 더 좋은 교사로 만드는 자동 학습 최적화
원제 AutoMaster: Autonomous Post-Training by Making the Same Model a Better Teacher
추천 14댓글 2
Key Point
성공한 학습 결과물도 비효율적 행동을 담을 수 있다는 근본 문제를 자동 최적화로 해결하는 방식으로, 고정된 모델의 교사 역할을 개선하는 새로운 패러다임을 제시한다.
핵심 요약
- 작업 성공만으로는 어떤 행동을 학습해야 할지 알 수 없어, 성공한 교사의 궤적에도 근거 없는 가정·반복·피상적 검증이 담길 수 있다는 문제를 제시한다.
- 이를 해결하기 위해 자연어 스킬 지시문으로 바람직하지 않은 습관을 억제하고 효과적이지만 과소 대표된 행동을 이끌어내는 Skill-FT 방식을 제안한다.
- LLM 에이전트가 궤적 분석·스킬 설계·데이터 선택·롤아웃 피드백을 통해 이런 개입 전략을 자동으로 개발하는 AutoMaster 시스템을 소개한다.
- Terminal·Search·소프트웨어 엔지니어링 작업에서 4B·9B 모델 대상으로 테스트했을 때, 기존 Vanilla SFT 대비 평균 성능을 1.42~8.99 퍼센트 포인트 개선했다.
- 교사 모델·작업·훈련 데이터 크기·SFT 설정은 모두 동일하게 유지한 상태에서 이뤄진 개선이다.
- 스킬 지시문을 SFT 단계에서 제거했을 때보다 유지했을 때 성능이 6개 설정 모두에서 더 높았으며, 평가 시에는 없는 정보임에도 불구하고 감독 출력이 동일할 때도 그렇다.
- 이 결과는 고정된 모델을 더 효과적인 교사로 만드는 데 행동 형성이 중요함을, 그리고 훈련 시연에 스킬 맥락을 보존하는 것이 더 나은 행동 내재화를 지원할 수 있음을 시사한다.