추론 모델의 병렬 수정 기법, Draft Refinement 제안

핵심 요약

• 추론 모델이 반복적으로 각 의사결정을 수정할 때, 개별적으로 타당한 토큰 업데이트가 전체 답변의 질을 보장하지 못한다는 문제를 제시한다.
• Draft Refinement Language Models(DRLMs)는 단일 denoiser를 사용해 병렬 수정안을 제안하고 후보 초안을 평가하는 방식을 도입했다.
• Denoiser는 균등하게 손상된 초안에서 모든 토큰을 복원하도록 학습되어 보존과 수리 능력을 모두 갖춘다.
• 기존 확산 역변환 없이 예측값이 수정안을 직접 제시하며, 평가 시 기존 토큰에 대한 신뢰도는 문맥 지지도와 토큰 자체의 증거를 함께 반영한다.
• 손상 과정을 알고 있어 self-token 증거를 보정하고, 프롬프트와 나머지 초안이 각 토큰을 얼마나 잘 지지하는지 추정하며, 이를 하나의 정방향 통과로 cavity energy를 계산한다.
• 각 라운드는 수정안을 제안하고 수정된 맥락에서 완성된 후보를 읽은 뒤, 에너지가 낮을 때만 유지한다.
• 6M 파라미터로 Countdown-5에서 44.4%, Sudoku-Extreme에서 93.9% 정확도를 달성해 자동회귀 및 이산 확산 기준선을 초과했다.
• 완전한 초안의 병렬 수정이 복잡한 추론 문제에서 역 확산의 효과적인 대안임을 입증했다.