장시간 연구 자동화, 상태 없는 에이전트로 풀다

핵심 요약

• LLM 에이전트를 이용한 자동화 연구 시스템은 장시간 실행 중 대화 히스토리 반복, 중복 실험, 토큰 낭비 등으로 실패한다.
• 문제의 원인은 연구 상태를 에이전트가 들고 다니고 각 에이전트가 독립적으로 다음 시도를 결정하는 구조에서 비롯된다.
• Stateless Language Agents(SLA) 프레임워크는 역할을 바꿔 연구 상태를 하네스가 관리하고 매번 신선한 맥락만 에이전트에 제공한다.
• Advisor가 하네스가 요약한 증거를 읽고 구체적 실험을 병렬 Worker들에게 할당하는 방식으로 동작한다.
• 소프트웨어 엔지니어링, 커널 최적화, 알고리즘 설계 작업에서 최대 10억 토큰 예산으로 평가했다.
• SLA는 모든 과제에서 최고 성능을 달성했으며, 기존 최강 커널 베이스라인의 성능에 도달하는 데 84% 이상 더 적은 토큰을 사용했다.
• Advisor는 전체 토큰의 0.6% 미만만 소비하며, 집중된 맥락 제공과 명시적 할당이 각각 성능 향상에 기여한다.
• 단기 평가 벤치마크는 장시간 연구 시스템의 성능을 잘못 판단할 수 있음을 보여준다.