긴 작업 추적하는 AI 코딩 어시스턴트 비평가 'Opera' 공개

핵심 요약

• 장시간 코딩 작업을 수행하는 에이전트가 피드백을 받아도 실제로 문제가 해결되지 않는 경우가 많다.
• Opera는 각 수정을 지속적인 기록으로 관리하며, 진단된 문제가 실제로 해결될 때까지 추적하는 AI 비평가 프레임워크다.
• 주기적·이벤트 기반 검토 트리거, 타입화된 연산자를 통한 문제 진단, 전달 전 증거 기반 감시, 피드백 이후 에이전트 행동 추적이 핵심이다.
• Terminal-Bench 2.1에서 기존 에이전트 대비 12.4%p, SWE-Bench Pro 부분 집합에서 15.0%p, DeepSWE v1.1에서 8.9%p의 문제 해결률 향상을 달성했다.
• 네 가지 정책 모델 전반에서 경쟁 비평가 대비 평균 해결률이 가장 높으며, 정책 모델이 자기 자신을 비평할 때도 개선 효과가 있다.
• Opera 피드백으로 생성한 학습 데이터로 Qwen3.5-9B를 미세 조정하면 비평가 없이도 SWE-Bench Pro의 미공개 저장소에서 10.2%p 향상을 기록했다.
• 더 강한 모델의 학습 데이터와 동등한 효과를 얻으면서도 Openhands에서 Terminus-2로 전환할 때 성능 저하를 크게 완화했다.
• 코드는 GitHub에서 공개되어 있다.