AI 에이전트가 자신의 인터페이스를 진화시킨다

핵심 요약

• 기존 컴퓨터 사용 에이전트는 인간이 정해준 고정된 인터페이스로만 작동하는데, 메모리셀 단위 입력처럼 비효율적인 작업을 반복하거나 파일 전체를 출력하는 등의 한계를 가지고 있다.
• 연구팀은 인터페이스 설계 자체를 에이전트의 능력으로 만들어야 한다고 주장하며 Agent S4를 제안했다.
• Agent S4는 메타 에이전트가 합성 훈련 작업에서 태스크 에이전트의 궤적을 분석하고, 성공 라벨 없이 인터페이스와 사용 지식을 자동으로 구축·수정하는 인터페이스 저장소를 관리한다.
• 개체군 기반 진화를 통해 검증 작업에서 성능이 좋은 저장소를 선택하며, 메타 에이전트가 본 적 없는 새로운 작업에도 일반화되는 변경을 우대한다.
• OSWorld V2 벤치마크에서 Qwen 3.8-27B 모델을 사용한 Agent S4는 이진 점수 21.3%를 기록했고, 고정된 인터페이스를 쓸 때의 같은 모델 점수인 5.6%의 약 3.8배에 해당한다.
• 이는 GPT-4.5(13.0%)와 Claude Opus(20.6%)을 뛰어넘으면서도 각각 약 4.3%, 1.5% 정도의 비용만 소요된다.
• ScienceBoard 벤치마크에서도 같은 모델로 진화된 인터페이스를 적용하면 성공률이 41.4%에서 58.6%로 향상된다.
• 연구팀은 경험으로부터 유용한 인터페이스를 진화시킬 수 있으며, 자동 인터페이스 설계가 모델·하네스 개선과 함께 성능 향상의 보완적 원천이 될 수 있음을 시사한다고 결론 내렸고, 코드를 공개했다.