코드 생성 AI, 정확하지만 '지저분하다'
원제 Measuring the sloppiness of code
146 포인트댓글 176
Key Point
LLM 코드 생성 품질을 정량적으로 측정하는 메트릭이 생겨나면서, 정확성 너머의 코드 품질 논의가 시작되고 있다.
핵심 요약
- LLM은 문법적으로 정확한 코드 생성에는 거의 완벽하지만, 불필요한 추상화, 중복, 비효율적 구조 같은 문제는 해결하지 못한다.
- 코드 슬로피니스(sloppiness)를 측정하기 위해 LOC 변화량, Verbosity(중복·불필요한 줄 수의 비율), Erosion(복잡한 함수에 집중된 코드량) 등의 메트릭이 제시됐다.
- SlopCodeBench 평가에서 AI 생성 코드는 기존 저장소 대비 Verbosity가 평균 0.33 vs 0.15, Erosion이 0.68 vs 0.31로 약 2배 더 높다.
- AI가 스스로 코드를 판단하도록 하는 방식은 신뢰할 수 없고, 인간 평가는 확장성이 떨어지며, 현재 업계는 정량적 측정보다 '감觉 기반'에 의존하고 있다.
- 반복적 개발 환경에서 컨텍스트가 초기화되면서 AI는 누적된 나쁜 설계 결정을 해결하지 못하고, 이는 대규모 모델도 마찬가지다.