다섯 개의 Qwen 모델, 한 대의 컴퓨터로 Claude Opus5 수준 코딩 성능 달성
원제 Five Qwen3.8-27B models match Fable 5 Using GVS5H Harness
109 포인트댓글 33
Key Point
비용 대비 성능이 우수한 오픈소스 모델로도 상용 최강 모델 수준의 코딩 성능을 낼 수 있다는 점이 중요합니다. 특히 자가 호스팅 모델로 93% 수준을 달성할 수 있어, 개발팀의 추론 비용 절감과 프라이버시 개선에 직결됩니다.
핵심 요약
- 연구진이 GVS5H(Gorilla vs. 5 Humans)라는 훈련 없는 자체 조율 방식을 제안했다. 같은 모델의 인스턴스 여러 개가 문제를 분해하고 공유 파일시스템의 계획, 메모, 현재 솔루션을 통해 조율한다.
- LiveCodeBench의 최신 어려운 문제 100개로 평가한 결과, 열 개 모델에서 최대 25.6 포인트의 성능 향상을 얻었다.
- Qwen3.8 Flash Next를 조율했을 때 Claude Fable 5의 90.4%에 비해 93.0%의 pass@1을 기록했으며, 비용은 9% 수준으로 절감했다.
- 오픈 소스 모델인 Qwen3.8-27B를 로컬에서 실행하면 66.8%에서 92.4%로 성능이 올라간다.
- 성능 향상은 모든 모델에서 일어나지 않으며, 일부 모델은 변화 없거나 더 악화되기도 했다.
- 연구진은 녹음 분석을 통해 성능 향상의 원인을 문제 분해와 지속적 맥락 유지에 있다고 분석했다.
- 추론 시점의 조율을 통해 경계 수준의 코딩 정확도에 저비용으로 접근하거나, 자가 호스팅 가능한 오픈 모델에서는 약간 초과할 수 있다.
- 코드는 MIT 라이선스, 논문과 데이터는 CC BY 4.0 라이선스로 공개된다. 실행에는 uv와 해당 모델의 API 키가 필요하다.