추론은 토큰 공간 경로찾기, 답으로 수렴하지 않음

Key Point
개별 경로의 수렴 보장이 없다는 점이 현재 추론 모델의 동작 원리(더 길게 생각해도 정확도가 악화될 수 있는 이유)를 설명하며, 검증자 기반 RL 훈련의 한계와 보상 해킹 가능성을 명확히 한다.
핵심 요약
- 모델이 더 길게 생각하면 정확도가 높아진다는 직관은 불완전하다. RL 훈련 중에는 모델이 더 긴 체인을 생성할수록 정확해지지만, 훈련된 모델에서 하나의 체인을 강제로 더 길게 하면 처음에만 도움이 되고 나중에는 악화되기도 한다.
- 추론을 토큰 공간의 경로찾기로 보면 이 모순을 설명할 수 있다. 모델은 같은 문제에 대해 여러 다른 경로를 생성할 수 있으며, 각 경로는 프롬프트에서 시작해 답으로 끝난다. 성공 확률은 모든 성공 경로의 생성 확률의 합으로, RL 훈련은 이 총합을 최대화한다.
- 개별 경로는 정답으로 수렴하도록 보장되지 않는다. 목표는 성공 확률 p_x를 높이는 것뿐이다. 베스트-오브-k 샘플링으로 k번 샘플링하면 성공 확률이 1 - (1-p_x)^k로 올라간다.