LLM 추론 과정을 자체 스타일로 복원하는 TraceForge 발표

핵심 요약

• 프론티어 LLM은 답변만 제공하고 추론 과정을 숨기는데, 이를 극복하기 위해 기존 연구는 암호화된 블록을 재생하는 방식을 사용했으나 서비스 약관을 위반한다.
• TraceForge는 교사 모델의 답변과 맥락에서 학생 모델 패밀리의 스타일로 추론 흔적을 생성하는 방식을 제안한다.
• 생성기가 교사 답변에서 추론 흔적을 재생성하도록 학습하고, 비평가가 실제 흔적의 진정성을 판단하는 2단계 학습(지도학습 후 적대적 학습)을 수행한다.
• 독립적인 판사가 생성된 흔적의 진정성을 0~1 스케일로 평가할 때, 제안 방식은 평균 0.68, 실제 흔적은 0.66, 비평가가 선택한 흔적은 0.82를 기록했다.
• 5개 벤치마크에서 일반 작업은 학습 데이터 소스 간 성능이 유사했으나, 코딩 작업에서는 생성된 추론이 Claude 5의 자체 추론 콘텐츠를 능가했다.
• 동일한 5,000개 질문과 교사 답변으로 HumanEval+는 3.7점, MBPP+는 7.1점 향상되었으며, MBPP+의 개선 효과는 모든 체크포인트에서 유지되었다.
• 연구진은 학생 모델 패밀리 스타일로 작성된 추론이 더 학습하기 쉬운 것으로 추측한다.