Hacker NewsAI · 머신러닝

코드 생성 AI, 정확하지만 '지저분하다'

원제 Measuring the sloppiness of code

146 포인트댓글 176
Key Point

AI 에이전트가 대규모로 생성하는 코드가 형식은 맞지만 구조적으로 부실해지고 있으며, 현재의 정성적 평가로는 이를 감지하기 어렵기 때문에 정량화된 측정 방법이 시급하다.

핵심 요약

  • LLM이 형식상 올바른 코드를 생성하지만, 불필요한 추상화·중복·나쁜 설계가 포함되는 문제가 있어 코드 슬로피함(잡스러움)을 측정하는 방법이 필요하다.
  • AI가 코드 품질을 판단하도록 하는 방식은 신뢰할 수 없으며, 1-10점 평가는 난수 생성기나 다름없고 모델이 문맥에 따라 판단을 바꾸는 문제가 있다.
  • 인간이 직접 평가하는 것이 최선이지만 스케일이 안 되므로, 단순히 코드 라인 수 변화(LOC)를 추적하는 것이 의외로 효과적이다.
  • Verbosity 지표는 중복·불필요한 장황한 라인을 측정하며, 기존 리포지토리의 평균값은 0.15±0.06이지만 AI 에이전트 코드는 0.33±0.10이다.
  • Erosion 지표는 복잡도가 높은 함수에 집중된 코드베이스 부실을 측정하는데, 기존 리포지토리는 0.31±0.17, AI 에이전트는 0.68±0.20으로 약 2배 차이가 난다.
  • SlopCodeBench 평가는 여러 라운드로 나누어 중간에 컨텍스트를 초기화하여 실제 반복 작업을 모방하는데, 현재 최고 성능 모델도 모든 체크포인트를 통과하는 엄격한 기준에서 0% 통과율을 달성한다.
  • AI 에이전트가 자동으로 코드 슬로피함을 해결할 수 없으며, 스스로 생성한 코드의 품질을 판단하도록 하는 것도 근본적인 해결책이 아니다.
  • 함수 결합도·코드 변동률·응집도 같은 추가 지표도 탐색할 가치가 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗