다중 교사 학습 시 교사 간 충돌 완화하는 새로운 방법
원제 Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
추천 237댓글 2
Key Point
다중 전문 모델을 하나로 통합할 때 발생하는 그래디언트 충돌 문제를 토큰 수준에서 직접 해결하는 기술로, 멀티태스킹 학습 시스템의 안정성과 성능을 모두 개선하는 방법을 제시한다.
핵심 요약
- 다중 교사 온폴리시 증류(MOPD)는 도메인별로 전문화된 교사가 학생이 생성한 궤적에 대해 밀도 있는 토큰 수준의 감독을 제공하는 방식이다.
- 기존 도메인 라우팅 방식은 도메인별로 감독 소스를 구분하지만, 모든 도메인의 업데이트가 공유 파라미터에 작용하면서 교사들의 응답 스타일과 도메인 전문성이 다를 때 그래디언트 충돌과 성능 저하가 발생한다.
- Road MOPD는 라우팅되지 않은 보조 교사를 크로스 도메인 평가자로 추가하고, 토큰 수준의 신용 배분과 그래디언트 업데이트를 통해 다중 교사 감독을 조율한다.
- 교사 간 합의도를 이용해 토큰 수준 보정을 강화하고 충돌하는 신호는 약화시키는 '크로스 교사 가이드 신용 배분'을 사용한다.
- 보조 그래디언트를 이용한 '예방적 다중 교사 그래디언트 투영'은 잠재적 충돌을 제약하면서도 목표 도메인 학습 신호는 유지하도록 투영 강도를 적응적으로 조절한다.
- 실험 결과 Road MOPD는 약점 도메인의 성능 저하를 완화하고, 높은 충돌 상황에서 5% 이상의 성능 향상을 달성했으며, 낮은 충돌 및 3개 도메인 설정에서도 전체 성능을 개선했다.