LLM 추론 수준 선택, 비용 대비 성능 불균형

핵심 요약

• LLM의 추론 노력(reasoning effort) 설정은 사용자가 추론 시간 계산량을 조절해 비용과 성능을 맞바꿀 수 있게 한다.
• 추론 노력은 신용재(credence good): 사용자는 결과를 보지만 추가 계산의 한계 가치를 평가할 수 없다.
• 연구팀은 4개 벤치마크에서 여러 노력 수준의 인과적 효과를 측정했으며, 단일 호출 추론과 장기 에이전트 작업을 포함했다.
• 높은 노력이 전체적으로는 정확도를 높여도, 낮은 노력으로 푼 문제들에서 빈번하게 실패한다.
• 모든 노력 수준이 풀 수 있는 쉬운 문제에서 높은 노력은 일반적으로 더 비싸며, 최고 노력이 최저 노력보다 최대 42배 비용이 든다.
• 높은 노력에서는 토큰 사용량뿐 아니라 에이전트의 작동 방식이 바뀐다: 자신의 작업을 더 자주 검증하고 직접 풀이보다 해결책 탐색을 더 많이 한다.
• 이러한 행동 변화는 궤적을 길어지게 하지만 반드시 결과를 바꾸지는 않는다.
• 최고 노력을 무조건 선택하는 것은 비용 비효율적이며 인스턴스 수준의 최고 성능을 보장하지 않는다.
• 더 나은 대안은 최저 노력부터 시작해 검증된 실패 후에만 상향 조정하는 것이다.
• 이 전략은 모든 모델과 벤치마크에서 고정된 최고 노력 수준과 비교해 동일하거나 우수한 성능을 제공하며, 대부분의 상용 모델에서 더 낮은 비용이 든다.