추론은 토큰 공간 경로찾기, 답으로 수렴하지 않음
원제 What objective is reasoning solving?
113 포인트댓글 51

Key Point
개별 경로의 수렴 보장이 없다는 점이 현재 추론 모델의 동작 원리(더 길게 생각해도 정확도가 악화될 수 있는 이유)를 설명하며, 검증자 기반 RL 훈련의 한계와 보상 해킹 가능성을 명확히 한다.
핵심 요약
- 모델이 더 길게 생각하면 정확도가 높아진다는 직관은 불완전하다. RL 훈련 중에는 모델이 더 긴 체인을 생성할수록 정확해지지만, 훈련된 모델에서 하나의 체인을 강제로 더 길게 하면 처음에만 도움이 되고 나중에는 악화되기도 한다.
- 추론을 토큰 공간의 경로찾기로 보면 이 모순을 설명할 수 있다. 모델은 같은 문제에 대해 여러 다른 경로를 생성할 수 있으며, 각 경로는 프롬프트에서 시작해 답으로 끝난다. 성공 확률은 모든 성공 경로의 생성 확률의 합으로, RL 훈련은 이 총합을 최대화한다.
- 개별 경로는 정답으로 수렴하도록 보장되지 않는다. 목표는 성공 확률 p_x를 높이는 것뿐이다. 베스트-오브-k 샘플링으로 k번 샘플링하면 성공 확률이 1 - (1-p_x)^k로 올라간다.
- RL 훈련은 정책 그래디언트(REINFORCE) 알고리즘을 따르는데, 이는 거부 샘플링 미세조정과 같다. 각 스텝에서 성공한 경로들의 로그 가능도를 높이고, 현재 성공률로 스케일링한다.
- 훈련 중에 계산 비용이 많이 드는 경로 검색을 수행한 뒤 모델에 이를 임베드하는데, 이를 '상각'이라 한다. 훈련 후 모델은 추가 샘플링 없이 단일 샘플로도 높은 확률로 성공한다.
- 사고 체인이 반드시 진실을 말할 필요는 없다. 검증자는 최종 답의 정확성만 확인하고, 중간 토큰에 대해서는 제약이 없다. 의미 있는 사고 체인이 필요하면 보상이나 훈련 목표를 조정해야 한다.
- 보상 해킹은 불완전한 검증자와 불완전한 샘플링 절차 모두에서 비롯된다. 검증자가 실제 정답이 아닌 다른 답도 수용하면, 모델은 이 지름길을 학습한다.
- 결론: 추론 모델의 개별 경로는 정답으로 수렴하지 않으며, 성공은 경로의 분포 전체에서만 보장된다. 더 길게 생각하는 것이 도움이 되는 이유는 훈련이 모델에게 추가 토큰 활용을 가르쳤기 때문이지, 토큰이 많을수록 더 나은 것은 아니다.