코딩 에이전트의 '하네스 엔지니어링' 평가하는 벤치마크 공개
원제 Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
추천 96댓글 1
Key Point
LLM 에이전트가 실제 작업을 하려면 모델뿐 아니라 모델을 감싸는 시스템 설계가 결정적이지만, 지금까지 그 부분을 직접 평가하는 도구가 없었기 때문입니다.
핵심 요약
- LLM 기반 에이전트가 장기 작업을 수행할 때, 모델 자체만큼 모델을 감싸는 하네스(harness) 설계가 성능을 좌우한다.
- 기존 벤치마크는 고정된 하네스 아래서 최종 과제 성공만 측정했으나, 하네스 엔지니어링 자체는 평가하지 않았다.
- Doc2Harness는 2단계 벤치마크로, Stage 1에서 빌드 모델이 인터페이스 계약서와 12개 프론티어 하네스의 동작을 정리한 개발 문서를 받아 격리된 컨테이너 내에서 완전한 후보 하네스를 구성한다.
- Stage 2에서 고정된 후보 하네스는 구성 환경과 분리된 컨테이너에서 각 테스트 케이스마다 실행되며, 스크립트 기반 모의 모델에 의해 종단 간 드라이브된다.
- 모델 요청, 디스크 파일, 프로세스 종료 코드, 명령 출력의 4개 채널로 각 테스트를 평가하며, 허위 통과를 배제하는 양성 대조군을 포함한다.
- 19개 프론티어 모델을 328개 테스트 케이스에서 각각 3번 독립 빌드로 평가한 결과, GPT-4o Astra는 53.05% 통과율로 가장 높고 가장 약한 모델은 27.44%로 약 26포인트 격차가 난다.
- 최강 모델도 테스트 케이스 절반 가까이 실패하며, 실패는 모듈 간 기능 분할 방식에 집중되어 있다.
- Doc2Harness는 장기 하네스 엔지니어링을 측정하는 첫 결정론적 벤치마크다.