코딩 에이전트 평가 기준이 현실 업무와 안 맞는 문제

핵심 요약

• JetBrains IDE의 실제 소프트웨어 엔지니어 4,782개 세션을 수집해 분석한 결과, 3개 이상의 사용자 메시지를 포함한 장기 세션(전체의 33%)은 이슈 기반 벤치마크 과제와 크게 다른 특징을 보인다.
• 실제 작업은 단일한 작업 유형보다는 코드 질문, 계획, 검토, 리팩토링, 실행 등 다양한 작업이 혼합되어 있으며, 사용자들이 작업 유형 간에 자주 전환한다.
• 세 개의 공개 상호작용 코퍼스에서 추출한 장기 세션들이 서로 다른 Task Flow(세션 길이, 작업 유형, 유형 간 전환 패턴의 분포)를 보이므로, 단일한 상호작용 분포로는 현실성을 보장할 수 없다.
• 벤치마크는 구체적인 목표 사용 사례를 명시하고 실측 데이터로 보정해야 한다.
• SWE-TaskFlow라는 방법을 제안하는데, 기존 이슈 기반 벤치마크의 검증된 과제와 테스트는 유지하면서 프롬프트 분할과 검증 가능한 저장소 QA를 통해 상호작용을 목표 Task Flow로 유도한다.
• Task Flow Alignment Score(TFAS)를 사용해 생성된 상호작용 궤적 중 최적의 것을 선택한다.
• SWE-Bench Pro의 700개 과제를 시험한 결과, 순차적으로 여러 단계로 과제를 해결하면 에이전트 비용(토큰 사용량)이 약 2배 증가하지만 해결 성공률은 안정적으로 변하지 않는다.
• 상호작용 프로토콜 자체가 에이전트 평가의 중요한 차원임을 보여준다.