Hacker NewsAI · 머신러닝

AI 디자인 벤치마크에 신규 모델 2개 등장, Fable 5.2 제쳤다

원제 Two stealth models just appeared on the leaderboard, both ahead of Fable 5.2

107 포인트댓글 42
Key Point

실제 복잡한 디자인 작업으로 AI 모델을 평가하는 첫 벤치마크로, 프로 디자이너의 판단을 반영한 신뢰할 만한 순위가 등장했으며 미공개 모델들의 디자인 능력이 기존 주요 모델을 넘기 시작했다는 신호다.

핵심 요약

  • Contra Labs가 실제 클라이언트 프로젝트 기반의 'Frontier Design Benchmark'를 공개했다.
  • 이 벤치마크는 Contra 마켓플레이스의 33개 실무 디자인 브리프를 68명의 프로 디자이너가 평가한 것으로, 맹검 투표로 모델을 비교한다.
  • 총 4,311개의 맹검 투표가 이루어졌으며, 설계 품질을 측정하는 35개 차원의 루브릭 채점 시스템을 적용했다.
  • 설계 루브릭 점수와 디자이너 평가 간 상관계수가 0.94로 높아 평가의 신뢰성이 높다.
  • Claude Opus 5.5, GPT-6.1 Sol, Kimi K3.1 Pro 등 주요 프론티어 모델들이 순위에 올랐으며, 최근 나타난 2개의 미명 모델이 Fable 5.2를 제쳤다.
  • 각 프로젝트마다 인간 디자이너의 'golden design'(기준 작품)을 함께 표시해 AI 출력물과 직접 비교할 수 있으며, 'AI slop' 패턴을 탐지하는 추가 메트릭도 제공한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗