75k개 에이전트를 라즈베리파이에 실행하는 Rust 프레임워크

핵심 요약

• Infinity는 대규모 동시성 에이전트 시스템을 구축하기 위한 Rust 프레임워크로, 라즈베리파이 메모리에 7만 5천 개의 에이전트를 동시에 실행할 수 있을 정도로 경량화됨.
• 비동기 처리를 통해 에이전트가 느린 도구 작업 중 블로킹되지 않고 동시에 실행되며, 대기 중에는 yield하여 리소스를 소비하지 않음.
• 에이전트 사이의 턴 사이에는 대화 이력만 데이터로 저장되고 태스크, 스택, 열린 연결이 없어 대기 중인 에이전트는 비용 없이 휴면 상태로 유지됨.
• 같은 에이전트 코드가 로컬 프로세스와 AWS Lambda 같은 서버리스 플랫폼에서 수정 없이 실행되며, 서버리스는 기본적으로 스케일 투 제로를 지원함.
• Reactive Agent Protocol(RAP)은 네트워크를 통해 도구를 제공하되 연결을 열어두지 않으며, 결과와 구독 이벤트가 준비되는 즉시 전달되고 현재 프로세스가 없는 에이전트도 받을 수 있음.
• 기존 MCP 서버는 호환성 계층을 통해 수정 없이 실행되며, 누구나 공개 스펙을 구현하여 도구를 제공할 수 있음.
• Infinity Code는 이 런타임 위에 구축된 코딩 에이전트로, 빌드와 테스트를 백그라운드에서 동시 실행하면서 출력을 스트리밍하고, 스택 된 샌드박스를 통해 병렬로 코드를 편집한 뒤 각 결과를 diff 형태로 검토 가능하도록 제공함.