AI 코딩 에이전트 동작 패턴을 행동 궤적으로 분석
원제 Interpreting Coding Agents Through Their Behavioral Trajectories
추천 10댓글 4
Key Point
성공률만으로는 구별되지 않는 AI 에이전트의 실제 동작 차이를 이해할 수 있으며, 더 나은 에이전트 평가와 개선 방향을 찾는 데 필수적이다.
핵심 요약
- 기존 AI 코딩 에이전트 벤치마크는 작업 성공 여부만 평가하며 실행 과정을 블랙박스로 취급해 실제 동작을 불투명하게 만들고 있다.
- 연구팀은 125개 에이전트 설정과 117개 모델에서 수집한 14만 3209개 실행 궤적을 분석했다.
- 저장소 검색, 파일 편집, 테스트 실행 등 고수준 행동으로 매핑하는 규칙 기반 파서를 개발하고, 500개 이벤트에서 6개 모델 합의 기준으로 검증했다.
- 유사한 성공률을 가진 에이전트도 코드 탐색, 수정, 검증 방식에서 현저히 다르다는 점을 발견했다.
- 작업 결과, 토큰 수, 도구 이름을 사용하지 않고도 행동 프로필만으로 서로 다른 저장소와 프로그래밍 언어 간 에이전트 스택을 식별할 수 있었다.
- 스캐폴딩 선택과 추론 노력이 에이전트의 탐색, 편집, 테스트 행동을 체계적으로 변화시킨다는 것을 보였다.
- 결정론적 파서, 전체 주석 처리 및 분석 파이프라인, 주석이 달린 궤적 부분집합을 공개했다.