언어 모델, 여러 작업 동시 처리 시 오류 급증
원제 On the Fragility of Tasks under Composition: Implicit Budgeting in Language Models
추천 10댓글 2
Key Point
언어 모델이 실제로 복합 작업을 처리하는 방식의 근본적 제약을 밝혀 모델 설계와 프롬프트 최적화 방향을 제시한다.
핵심 요약
- 최신 언어 모델이 한 프롬프트에서 여러 작업을 처리할 때 개별 작업보다 훨씬 더 많은 오류가 발생한다.
- 이 성능 저하는 단순한 오류의 축적으로 설명할 수 없으며, 오픈 가중치 모델과 Claude Opus 5에서 공통으로 나타난다.
- 원인은 '암묵적 사고 예산(implicit thinking budget)'으로, 여러 작업 구성 상황에서 모델이 각 작업당 사용하는 토큰 수가 개별 처리 시보다 훨씬 적어진다.
- 이는 전체 시퀀스가 컨텍스트 윈도우 범위 내에 있어도 발생한다.
- 개별 처리 시 더 긴 풀이가 필요한 작업일수록 여러 작업 구성에서 더 취약해지며, 모델이 더 많은 오류를 범한다.
- 개별 처리에서는 비취약 작업들이 필요 이상 많은 추론을 하느라 계산량을 낭비한다.
- 작업의 취약성에 따라 그룹화하면 암묵적 예산 배분을 조정하여 수학 및 언어 작업에서 정확도를 유지하면서 토큰 사용량을 43% 줄일 수 있다.