확률 오차 줄이는 AI 에이전트 프레임워크 RiseHarness

핵심 요약

• 장시간 작업을 수행하는 터미널 에이전트는 한 번은 성공하지만 반복 실행 시 실패하는 문제가 있으며, 확률적 오류가 액션과 컨텍스트를 거쳐 누적된다.
• RiseHarness는 모델 가중치를 고정한 채로 에이전트 하네스(harness)를 반복 개선하는 프레임워크로, 같은 설정에서 성공과 실패를 오가는 작업에 초점을 맞춘다.
• 런타임 모니터에서 수집한 내부 하네스 추적과 에이전트 궤적을 결합해 모델 액션이 명령 실행, 피드백, 컨텍스트 관리, 완료 결정과 어떻게 상호작용하는지 검토한다.
• Harness Handbook이라는 도구는 이 증거들을 하네스 동작과 소스코드에 연결해 작업 간 공유 메커니즘의 반복되는 문제를 식별한다.
• 다른 하네스 프레임워크에서 관련 구현을 검색하고 현재 모델과 실행 프로토콜에 맞춰 설계 참고자료로 적응시킨다.
• 후보 변경사항은 동작 검사와 반복 작업 평가를 거치며, 측정 가능한 개선이 확인된 버전이 다음 반복을 시작한다.
• 이 루프는 여러 프레임워크의 적절한 메커니즘을 단일 하네스에 통합하고 새로운 실행 증거를 바탕으로 추가 변경을 진행한다.
• 다양한 모델에 걸쳐 작업 성공률과 안정성을 평가하고, 하네스 실행 증거와 외부 연구를 제거해 영향을 분석했다.
• 미시각 벤치마크에 대한 전이 효과도 테스트해 같은 모델 내에서 공유 상호작용 메커니즘 변화가 여러 작업에서 기존 역량을 어떻게 더 신뢰성 있게 만드는지 연구했다.