모델마다 최적 하네스가 다르다
원제 What is the best harness for each model?
192 포인트댓글 78

Key Point
모델 선택 시 하네스도 함께 고려하면 작업당 비용을 최대 5배까지 절감할 수 있다는 실제 데이터를 제시한다.
핵심 요약
- Baseten과 협력해 83B 토큰, 27,280회 에이전트 실행을 통한 대규모 하네스 리더보드를 구축했으며, 모델 전환 시 하네스도 함께 바꿀지 고민해야 한다는 질문에 답하려 했다.
- v1.1은 22개 하네스 × 5개 모델 × 62개 태스크 × 4회 시도로 v1.0 대비 76배 규모로 확대됐다.
- 모델별 최적 하네스는 GLM-5.3용 Codex CLI, GLM-5.3 Flash용 Pi, DeepSeek V4.1 Flash 1017용 ZCode, Muse용 Oh My Pi, Kimi-K3용 Alma이다.
- 비용 순위는 모델 간 크게 변동했으며, 작업당 비용 기준 중앙값 하네스가 22개 중 11개 순위가 이동했고, Codex CLI는 GLM-5.3에서 1위에서 Kimi-K3에서 16위로 하락했다.
- 전체 모델 기준 4개 하네스만 파레토 경계선 위에 있고, 이들은 작업당 비용 $0.561~$1.63 범위에서 통과율 54.0%~69.0%를 기록했다.
- 모델이 전체 비용 분산의 92.8%를 설명하고, 하네스는 2.3%를 설명하며, 같은 모델 내에서는 가장 비싼 하네스와 가장 싼 하네스의 비용이 1.8배~5.0배 차이를 보였다.
- 모델 고정 시 최저 비용 하네스는 모델마다 다르게 변동했고, 순위 상관계수는 같은 모델에서 0.71이지만 다른 모델 간에는 0.26에 불과했다.
- 높은 비용이 높은 통과율을 보장하지 않았으며, 작업당 비용과 통과율의 상관계수는 −0.39~+0.22로 대부분 약했다.
- 프롬프트 크기, 도구 수, 캐시 히트율은 비용을 예측하지 않았으나, 단계 수는 비용과 +0.51의 상관계수를 가졌다.
- 최고 성능 하네스들은 셸 도구 하나가 도구 호출의 61~93%를 처리하고, 컨텍스트를 추가하기만 하므로 캐시 히트율이 91~94%에 달했으며, 소에이전트와 요약이 거의 없었다.
- 실패 시도의 64.5%가 전체 비용을 차지했으며, 최고 성능 하네스들의 실패 시도 중 68~82%가 시간 초과가 아닌 확신 있는 답변으로 종료됐다.
- 향후 Claude Opus 5.5, GPT-6 Astra, Gemini 4 Carbon 같은 폐쇄형 모델을 추가하고, 클라우드에서 지속적으로 작동하는 하네스의 자가 개선을 연구할 예정이다.