LLM이 만드는 디자인, 모두 똑같은 이유
원제 Why do LLM pelicans look like this?
123 포인트댓글 109
Key Point
AI 모델들의 UI 디자인 창의성이 인간의 30% 수준에 불과하며, 모두 비슷한 패턴으로 생성하는 근본적 한계를 정량적으로 입증한 첫 벤치마크다.
핵심 요약
- LLM들이 UI 디자인 작업에서 놀랍도록 비슷한 결과물을 만드는 '다양성 붕괴' 문제가 드러났다.
- Kombai 연구팀이 'Design Creativity Bench' 벤치마크를 개발해 16개 최첨단 모델을 80개 열린형 UI 작업으로 평가했으며, 각 작업마다 2개의 서로 다른 제품 도메인과 인간 디자이너 기준을 제시했다.
- 창의성을 세 가지 차원으로 측정했다: 원창성(같은 브리프에 대해 다른 모델들과 얼마나 다른지), 창의적 범위(제품 도메인이 바뀔 때 디자인 결정을 얼마나 적응시키는지), 적절성(생성된 UI가 요구사항을 만족하는 정도).
- 최고 성능 모델인 GPT-6 Astra는 65.5점을 얻었으나 인간 기준은 92.3점으로, 정도 높은 격차를 드러냈다.
- GPT-6.1 Sol(63.7점), Grok 4(62.2점), Gemini 3.8 Flash(60.6점) 등 상위 모델들도 모두 인간 성능에 미치지 못했다.
- 연구팀은 벤치마크의 전체 리더보드, 방법론, 재현 가능한 평가 프레임워크를 공개했으며, GitHub와 HuggingFace에 코드와 데이터셋을 제공했다.