작은 오픈소스 모델, 실제 코딩 업무에 얼마나 써먹을까

핵심 요약

• 벤치마크 점수가 높은 오픈 가중치 모델도 실제 코딩 작업에서는 텍스트 생성과 실행 가능한 코드 생성이 별개 문제임을 보여주는 경험 보고서다.
• 저자가 2026년 7월부터 10월까지 수행한 엔지니어링 작업을 기반으로, vLLM, SGLang, llama.cpp, MLX 등 여러 모델 서빙 환경에서 같은 엔드포인트로 표시되는 모델들도 도구 호출 형식, 턴 제어, 컨텍스트 동작, 캐시 재사용, 신뢰성 면에서 차이를 보임을 기록했다.
• 4,165개의 코딩 에이전트 게이트웨이 턴, 623개의 디버그 작업, 고정된 Claude Opus 5.5 부모 모델과 숨겨진 동작 검증을 포함한 3개 위임 연구가 증거다.
• 콜드 프리픽스 요청의 첫 토큰까지 중앙값은 약 69.4초인 반면, 높은 재사용 요청은 2.8초였다.
• 45개 작업의 직접 코딩 시험에서는 15/15 성공, 양자화된 Qwen3-Coder 30B-A3B 워커로 위임하면 12/15와 14/15였다.
• 두 번째 15개 작업 세트에서 고정 아티팩트 계약 하에 직접 코딩은 45/45 성공, Nemotron Cascade 2 워커는 12/45 성공(11회 워커 교체)을 기록했으며, 구독 한도로 중단된 16개 세션을 실패로 계산하면 37/45와 8/45가 된다.
• Qwen3-Coder 워커는 두 번째 세트에서 0/45 성공했다.
• 직접 코딩이 인증된 성공 당 API 목록 가격 기준 비용이 더 낮았다.
• 사후 진단에서 36개 아티팩트 중 19개는 재명명된 매개변수로만 거부되었지만 숨겨진 검증을 통과했는데, 이들은 성공으로 계산하지 않았다.
• 모델이나 런타임의 순위를 매기지 않으며 서빙, 에이전트 프로토콜, 세션 연속성, 아티팩트 검증, 검증 실무의 증거 기반 계정을 제공한다.