Qwenputer-npu

Qwenputer-npu

一个把小型 RISC-V 计算机内置在权重里的 Qwen3.5-4B 模型，用于精确算术和运行一个微型故事模型。这是给研究 transformer 内部程序的研究者做的实验。

由 divagr1925 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwenputer-npu 取 Qwen3.5-4B 为基础，在模型自己的层里构建了一个小型 32 位 RISC-V 处理器。这个版本给 CPU 增加了神经网络指令集。它的速度足以在上面运行另一个语言模型，也就是编译成 C 程序的 260K 参数微型故事模型。Qwen 自己的权重保持不变。

适合谁：想研究程序或计算机如何存在于 transformer 内部的研究者和好奇的工程师。

Industry | Who uses it | How they use it | Example
人工智能研究 | 研究 transformer 内部结构的研究者 | 运行芯片层，并与参考模型对比 | 检查 CPU 层对测试程序的结果与参考模型一致
系统与编译器 | 喜欢特别计算目标的工程师 | 研究代码如何被编译进模型权重 | 阅读一条点积指令如何对应到各层
教育 | 计算机体系结构的老师 | 展示 CPU 在语言模型内部运行 | 运行故事程序并观察输出

如果你想要通用的聊天模型，可以跳过它，因为这是研究实验，不是调优过的助手。

用在哪里：它通过项目自带的 Python 工具运行，用到 uv，需要能容纳权重的机器。文件可以在 Windows、macOS 或 Linux 上下载。

• 带 uv 工具的 Python
• qwenputer 项目的副本，使用它的 npu 分支
• 为了速度需要 GPU，作者是在 L4 上计时的
• Windows、macOS 或 Linux：可以用 Python 获取文件的系统

Use case | Who | What they get back
精确算术 | 研究者 | 内置 CPU 为 calc 任务给出的答案
指令检查 | 工程师 | 在模型各层上运行新指令的测试结果
故事生成 | 好奇的用户 | 由小模型在 CPU 上写出的故事

如何设置：从 GitHub 克隆项目的 npu 分支，进入它的 experimental riscv 文件夹，用 hf 额外项运行 uv sync。然后下载检查点。

• 带 pip 和 uv 的 Python
• Git，用来克隆 qwenputer 项目
• bf16 权重约 19.6 GB 的磁盘空间，其中大部分是零填充

1. 克隆项目，并用 uv 安装它的依赖。
2. 用 hf 命令下载检查点。
3. 在项目文件夹里运行对话、检查和故事命令。

pip install -U huggingface_hub
hf download divagr1925/Qwenputer-npu

如何使用：在项目文件夹里，这些命令会把检查点下载到本地、提一个计算题、检查新指令，并在 CPU 上写一个故事。

hf download divagr1925/Qwenputer-npu --local-dir qwenputer-npu
uv run python -m chipformer.rv.chat qwenputer-npu --firmware tests/data/rv/calc-bridge.elf \
    --ask "Use calc: what is 123456789 * 987654321?"
uv run python -m chipformer.rv.npucheck qwenputer-npu guests/stories260k/stories260k.elf
uv run python guests/stories260k/storyrun.py guests/stories260k/stories260k.elf

Tool | What it does
chipformer.rv.chat | 与模型对话，并让它使用内置的 calc
chipformer.rv.npucheck | 在检查点的各层上运行新指令
storyrun.py | 在 CPU 的执行器上写故事

示例：你运行对话命令，问 123456789 乘以 987654321 是多少。Qwen 把这道算式交给它权重里的 CPU，CPU 返回精确的乘积，由 Qwen 报告出来。

新手与专家：如果你刚接触这类模型，可以把它想成一个自己携带了一台微型计算机、并让它来做精确数学的语言模型。先用对话命令和那道乘法题试一试。

如果你熟悉这个领域，这个 CPU 是放在 Qwen 自己层之前的 11 个 transformer 层，用 Gated DeltaNet 状态充当 RAM。两条新指令，一个打包的 int4 点积和一个字节乘积，加上一块权重内存，让故事模型用少得多的轨迹 token 就能运行。模型卡报告在 L4 上每个故事 token 约需 41 秒。

Qwen 询问内置 CPU
编译好的层运行程序
CPU 返回精确结果
Qwen 写出最终回复

注意事项：模型卡说，对照 CPU 参考模型的检查没有发现不一致，Qwen 的文字行为也与基础模型接近。下面的分数是它自己的，来自两组各 40 道题。

Title: 模型卡的基准分数
Benchmark | Base Qwen3.5-4B | Qwenputer-npu
Synthetic integer arithmetic | 75.0 | 90.0
DeepMind mul_big | 55.0 | 97.5

• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 项目文件夹里的本地文件，例如固件和检查点
• Not for: 通用聊天或生产使用，因为这是研究实验

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：9.8B
• Weights: about 19.6 GB in BF16; about 4.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：490
• 点赞：7
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• 标签：transformers, safetensors, qwen3_5_text, text-generation, qwen3.5, risc-v, rv32im, compiled-weights, gated-deltanet, qwenputer, conversational

链接

• 模型：https://huggingface.co/divagr1925/Qwenputer-npu
• 文件：https://huggingface.co/divagr1925/Qwenputer-npu/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download divagr1925/Qwenputer-npu

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。