다중 에이전트 갈등 평가 벤치마크 CLASHarness 공개

핵심 요약

• Vision-language 모델이 멀티에이전트 시스템에 배포되면서 실무 협업처럼 불완전한 정보, 모순된 지시, 권한 경쟁 등 갈등 상황을 다루는 능력이 중요해졌다.
• 기존 벤치마크는 협력적 환경을 가정하므로 갈등 해결 능력을 평가하기 어렵고, 수동 작성은 복잡 시스템에서 확장 불가능하며 LLM 생성은 일관성 결여와 답안 유출 문제가 있다.
• CLASHarness는 600개 멀티라운드 과제로 검증 가능한 에이전트 갈등을 생성하는 제어 가능한 프레임워크로, 계층적 시나리오 계획과 8단계 검증 파이프라인을 결합해 모든 과제가 구성상 해결 가능함을 보장한다.
• 렌더링 전 결정적 시각 사실을 미리 확정하고 참조 궤적 실행에서 하이브리드 코드·의미론적 채점자를 직접 컴파일해 답안 누출과 채점 기준 불일치를 방지한다.
• 15개 최신 모델 평가 결과, 첫째 약한 모델은 에이전트 출력이 환경과 충돌할 때 시각 증거를 무시하고 맹목적으로 추종하는 반면 강한 모델은 기본 사실을 검증한다.
• 둘째 갈등 발견은 해결보다 훨씬 쉬워서 모순을 찾아낸 에이전트도 시스템 상태 수정에서 성공률이 크게 떨어진다.
• 셋째 조율 프로토콜이 보편적 병목으로, 최신 모델도 종료 동작의 58% 이상을 실패하며 공유 잠금 해제나 과제 인수인계를 자주 잊는다.