장기 작업 완료 위한 'Interlock' 프레임워크 제시
원제 Interlock: From Local Correctness to Task Completion in Long-Horizon Agents
추천 34댓글 3
Key Point
복잡한 장기 작업에서 부분적 완성이 아닌 전체 완성을 추구하는 새로운 에이전트 학습 방식이 제시되었으며, 여러 벤치마크에서 측정 가능한 성능 개선을 입증했다.
핵심 요약
- LLM 에이전트가 장기 작업을 수행할 때 개별 요구사항은 충족하지만 이들 간의 관계를 유지하지 못해 부분적으로만 완성되는 문제가 있다.
- Interlock은 작업을 타입 지정된 완성 그래프로 표현하는 프레임워크로, 그래프는 증거-결정 연결(grounding edge), 컴포넌트 간 결합 제약(coupling hyperedge), 결정-효과 연결(realization edge)로 구성된다.
- 이 그래프를 리셋 가능한 작업공간, 공개 요청서, 평가 기준으로 컴파일하며, 출처 검증과 공개 입력 검증을 통해 요구사항과 평가 기준의 정합성을 확인한다.
- 에이전트-판정자 방식으로 실행 결과물을 검사하고 검증 스크립트를 실행하여 필수 요구사항을 만족하는 궤적만 유지한다.
- Qwen 3.6 모델 두 개를 승인된 궤적으로 파인튜닝한 결과, AutomationBench 작업 성공률 4.00-4.50%, JobBench 가중 점수 3.20-6.64점, Harvey LAB 통과율 3.89-4.16% 개선되었다.
- 생성된 경험 데이터가 외부 작업 환경에서 학습 유용성을 갖고 있음을 보여준다.