Qwen 가중치에 내장된 RISC-V CPU, 정확하게 동작하다

핵심 요약

• Qwenputer는 Qwen 3.5 4B에 RISC-V CPU를 모델 가중치에 직접 컴파일한 실험적 모델로, 모델의 Gated DeltaNet 어텐션 레이어를 RAM으로 사용한다.
• Gated DeltaNet 레이어의 게이트를 1로, 쓰기 강도를 1로, 원-핫 키 인코딩을 사용하면 정확한 주소 지정이 가능한 RAM이 되며, 이는 일반 어텐션의 KV 캐시보다 메모리 효율이 높다.
• CPU는 32비트 RISC-V 코어(RV32IM 명령어 세트)로 모델의 처음 11개 레이어를 차지하며, 컴파일러가 회로 설명을 트랜스포머 레이어의 어텐션 헤드와 피드포워드 유닛으로 변환한다.
• CPU는 추가 훈련 없이 Qwen에 의해 자동으로 사용되며, 외부 도구 호출 없이 모델의 정방향 전개 중에 실행되고 C, MicroPython 코드를 구동할 수 있다.
• 공식 riscv-tests를 통과했으며, 1,800만 개 명령어를 오류 없이 실행했고, 추론 속도는 느리지만(L4에서 초당 3,200개 CPU 토큰) 정확하다.
• DeepMind 산술 집합에서 div_big 97.5%, mul_big 97.5%, mul_div_multiple_longer 100%, add_or_sub_big 97.5% 정확도를 달성했으며, Python 도구를 제공한 기본 Qwen과 비슷하거나 나은 성능을 보인다.
• 230,000개 출력 위치를 기준 머신과 비교했을 때 불일치가 0건이었고, 기본 Qwen과의 텍스트 생성 차이는 노이즈 범위 내다.
• DeltaNet 상태에 1,024개 슬롯을 가진 파일 시스템도 구현했으며, 파일명을 해시하여 저장하고 문자별로 체이닝하여 최대 512개 파일과 약 53,000 토큰 용량을 지원한다.
• 파일 시스템은 대화 사이에 유지되며, 변경된 사실을 90% 정확도로 기억하고(기존 채팅 붙여넣기는 30%), Python 메모리 도구(83.3%)와 비슷한 78.9% 성능을 보인다.
• 체크포인트는 18.8GB(기본 Qwen의 약 2배)이며, RvChat 드라이버가 필요하고 낮은 속도가 제약이다.
• 모델과 코드는 GitHub, Hugging Face, ModelScope에 오픈소스로 공개되었으며, 단일 24GB GPU에서 실행 가능하다.