쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
5건 · "LLM 증류"조건 지우기 ×
001 03:11 ▲ 34 · 댓글 4 LLM 증류 방식 개선, 확률값 대신 토큰 순서만 학습 기존 온폴리시 증류(OPD)는 학생 모델을 교사 모델의 토큰 확률값에 맞춰 학습시킨다. AI · 머신러닝 · Order-Only On-Policy Distillation
Key Point 확률값 대신 토큰 순서만 학습하는 방식으로 LLM 증류 성능을 개선했으며, 온도 튜닝 같은 복잡한 하이퍼파라미터 조정이 필요 없어진다는 점이 실무적 가치를 갖는다.
핵심 요약
기존 온폴리시 증류(OPD)는 학생 모델을 교사 모델의 토큰 확률값에 맞춰 학습시킨다. 이 확률값에는 교사가 선호하는 토큰이 무엇인지와 얼마나 확신하는지 두 가지 정보가 섞여있는데, 후자는 교사의 용량과 보정을 반영하므로 작은 학생 모델이 재현하기 어렵다. 교사 온도 변화가 확률값을 바꾸지만 순서는 유지하므로 OPD는 온도 선택에 민감하다. 전체 요약 10문장 읽기 → 002 15:11 ▲ 44 · 댓글 2 LLM 추론 과정을 자체 스타일로 복원하는 TraceForge 발표 프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다. AI · 머신러닝 · TraceForge: Distilling with Your Own Thinking
Key Point 상용 LLM의 추론 과정 접근을 제한하는 현실에서, 약관을 위반하지 않으면서도 모델의 자체 스타일로 추론을 복원해 학습 효율을 높일 수 있는 대안을 제시한다.
핵심 요약
프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다. TraceForge는 교사 모델의 답변과 맥락에서 학생 모델 패밀리의 스타일로 추론 흔적을 생성하는 방식을 제안한다. 생성기가 교사 답변에서 추론 흔적을 재생성하도록 학습하고, 비평가가 실제 흔적의 진정성을 판단하는 2단계 학습(지도학습 후 적대적 학습)을 수행한다. 전체 요약 7문장 읽기 → 003 09:11 ▲ 13 · 댓글 2 여러 RL 교사 모델의 신호가 학생 파라미터에 미치는 영향 분석 Qwen3-1.7B 학생 모델과 같은 초기화에서 훈련한 4개 도메인 RL 교사들로부터의 다중 교사 온폴리시 증류(MOPD) 과정에서 그래디언트, 옵티마이저 업데이트, 태스크 학습 곡선을 비교 분석했다. AI · 머신러닝 · From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation
Key Point 여러 교사 신호를 결합할 때 손실 평균화, 옵티마이저 동작, 정밀도가 최종 성능에 미치는 구체적인 영향을 분석한 결과로, LLM 증류 설계의 의사결정 근거를 제시한다.
핵심 요약
Qwen3-1.7B 학생 모델과 같은 초기화에서 훈련한 4개 도메인 RL 교사들로부터의 다중 교사 온폴리시 증류(MOPD) 과정에서 그래디언트, 옵티마이저 업데이트, 태스크 학습 곡선을 비교 분석했다. 손실 평균화는 응답 길이를 기반으로 암묵적 가중치를 부여하는데, 토큰 평균화는 긴 응답을 선호하고 도메인 기여도 균등화도 도메인 내에서 이 가중치를 유지한다. Adam 옵티마이저의 1차 모멘트는 파라미터 업데이트의 차이를 감소시켜, 원본 그래디언트에는 차이가 있지만 교사 간 코사인 유사도 0.83, 평균화 규칙 간 0.96을 보인다. 전체 요약 6문장 읽기 → 004 15:11 ▲ 20 · 댓글 2 작은 모델이 더 나은 거부 샘플을 만든다 선호도 증류(preference distillation)는 교사 응답을 선택지로, 학생의 자체 생성 응답을 거부지로 삼는데, 이는 자동생성 실패가 가장 유용한 부정 샘플이며 거부 샘플이 학생 규모 이상의 모델에서 와야 한다는 가정에 기초한다. AI · 머신러닝 · Smaller Models, Better Rejects: Preference Distillation Scaling
Key Point LLM 증류 비용의 핵심 병목인 거부 샘플 생성을 더 작은 모델로 대체 가능함을 보여 모델 훈련 효율성을 크게 개선할 수 있기 때문이다.
핵심 요약
선호도 증류(preference distillation)는 교사 응답을 선택지로, 학생의 자체 생성 응답을 거부지로 삼는데, 이는 자동생성 실패가 가장 유용한 부정 샘플이며 거부 샘플이 학생 규모 이상의 모델에서 와야 한다는 가정에 기초한다. 연구 결과 이 두 가정 모두 성립하지 않으며, 7B부터 72B 규모의 학생 모델에서 더 작은 고정 모델이 자체 생성 거부 샘플보다 추론 비용은 덜 들이면서 더 강한 학생을 훈련시킨다. 선형화된 특성 모델에서 Direct Preference Optimization(DPO)의 유한 지평선 유틸리티 상한을 유도해 효과적인 거부 샘플 분포의 특성을 분석했다. 전체 요약 6문장 읽기 → 005 12:11 ▲ 25 · 댓글 1 학생 모델이 만든 문장을 선생 모델이 계속쓰며 학습 OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다. AI · 머신러닝 · Learning from Teacher Continuations at Student States
Key Point 온라인 학습과 오프라인 증류의 한계를 동시에 해결하는 새로운 증류 방식이 기존 방법 대비 더 나은 성능을 달성하는 방법론을 제시하기 때문이다.
핵심 요약
OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다. 각 반복 단계에서 학생 모델이 프리픽스를 생성하고, 선생 모델이 자동회귀로 이를 이어쓰며, 선생이 생성한 토큰에 대해 교차 엔트로피로 학생을 업데이트한다. 기존 증류 방법의 세 가지 제약을 해결한다: 고정된 선생 궤적으로 학습할 때의 순차적 공변량 시프트, 프리픽스 실패 시 단편적 감독, 선생의 토큰 확률값 접근 필요성. 전체 요약 8문장 읽기 →