290B 모델을 데스크톱에서 실행하는 엣지 추론 엔진 FreeToken

핵심 요약

• FreeToken은 개인용 하드웨어에서 290B 이상의 대규모 혼합 전문가(MoE) 모델을 로컬에서 빠르게 실행하는 엣지 추론 엔진이다.
• GPU, CPU, 호스트 메모리, 상호연결을 통합 플랫폼으로 활용하며, 대역폭 적응형 CPU-GPU 협력 실행(q* 정책)과 레이어 이중 버퍼링 프리필 스트리밍을 지원한다.
• 의미 기반 캐싱으로 상태와 KV 캐시의 앵커 체크포인트를 저장하여, 도구 호출·사고 블록 같은 에이전트 컨텍스트 편집 시 중복 재계산을 피한다.
• 엔진 재시작이나 가중치 재로딩 없이 VRAM을 전문가 캐시와 KV 메모리 간에 동적으로 재할당하는 탄력적 메모리 관리를 제공한다.
• DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 등 다양한 규모의 오픈 웨이트 MoE 모델과 MXFP4, NVFP4, FP8, BF16 등 양자화 형식을 지원한다.
• Anthropic·OpenAI 호환 API를 제공하여 Codex, Claude Code, OpenCode, OpenClaw, DeepSeek Harness 같은 코딩·도구 호출 에이전트와 통합할 수 있다.
• NVIDIA RTX 30, RTX 40, RTX 50 시리즈 GPU를 탑재한 게이밍 PC부터 워크스테이션까지 다양한 소비자 하드웨어에서 동작한다.
• Windows와 Linux용 데스크톱 앱 또는 CLI(uv/pip로 설치 가능)를 제공하며, 엔진 설정과 모델 실행을 위한 GUI를 포함한다.
• 소스코드는 Apache License 2.0으로 배포되고, SGLang, vLLM, FlashInfer 등 오픈소스 프로젝트에서 영감을 받았다.