LLM이 숨겨진 공간에서 추론하는 법, Flow Matching으로 풀다

핵심 요약

• LLM이 연속 공간에서 사고하고 최종 답만 출력하는 잠재 추론(Latent Reasoning)에서 효과적인 잠재 사고는 5가지 조건을 만족해야 한다.
• 유용성: 올바른 답을 생성하되 단순히 바꾸지 않아야 함, 다양성: 재샘플링으로 다른 추론 경로가 나와야 함, 설명성: 디코딩한 사고의 연쇄(CoT)가 실제 추론을 반영해야 함, 개선성: 추론 계산을 늘려 성능을 높일 수 있어야 함, 효율성: 명시적 CoT 대비 비슷한 정확도에서 낮은 지연시간을 가져야 함.
• 기존 방법들은 이 요구사항을 거의 충족하지 못하는데, 질문에서 지름길을 배우거나 명시적 CoT를 가중치로 증류하거나 토큰 단위로 모방하는 문제가 있다.
• 연구팀은 학습된 잠재 공간에서 흐름 매칭을 적용하는 방식이 이 5가지 요구사항을 가장 잘 충족할 수 있다고 주장한다.
• Flow-based Latent Reasoning(FLaRe)은 잠재 공간이 무엇을 인코딩할지, 흐름을 어디서 훈련할지, 답을 어떻게 읽을지, 모델 자체의 검증된 사고로 최종 훈련하는 단계를 포함한 간단한 방법론이다.
• 각 요구사항을 측정하는 프로브(probe) 결과, FLaRe는 기존 잠재 추론 방법 대비 5가지 항목 모두에서 개선되었다.
• 산술 벤치마크에서도 기존 방법들보다 우수하며, 명시적 CoT 대비 1/4의 지연시간으로 97% 수준의 정확도를 달성한다.