MiniCPM5 WebGPU

MiniCPM5 WebGPU

在浏览器标签页里用你自己的 GPU 运行 MiniCPM5 2B 模型，可以聊天，也能生成网站、Word 文档、Excel 工作簿和 PDF。适合想要免安装本地助手的人。

由 ProCreations 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 Space 在浏览器标签页里，用你自己的显卡运行 MiniCPM5 2B 语言模型。你可以和它聊天，也可以让它生成网站、Word 文档、Excel 工作簿和 PDF。它用的是专门打造的 WebGPU 运行时，所以模型的计算都留在你的 GPU 上。

适合谁：如果你想要一个不用装软件的本地聊天和文档助手，或者想看看模型怎么在 WebGPU 上运行，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
网站开发 | 前端开发者 | 研究在 WebGPU 上运行的模型 | 看看运行时和它的基准测试说明
办公 | 经常写文档的人 | 让模型生成文档或表格 | 要一份工作簿草稿或一份简短的 PDF
网页设计 | 业余爱好者 | 让它做一个小网站 | 要一个单页网站并检查代码
研究 | 模型研究者 | 在浏览器里测试推测解码 | 比较 Auto、On 和 Off 三种草稿设置

如果你的设备不支持 WebGPU，或者腾不出几个 GB 的下载空间，可以跳过它。

用在哪里：

• 支持 WebGPU 的网页浏览器，打开 Hugging Face 上这个 Space 的页面
• 你自己的电脑，Windows、macOS 或 Linux，在浏览器里打开下载好的文件

使用场景 | 谁用 | 得到什么
本地聊天 | 任何人 | 一个在你 GPU 上运行的模型给出的回答
生成文档 | 办公用户 | 网站、Word 文档、Excel 工作簿和 PDF
测试运行时 | 开发者 | 了解 WebGPU 运行时及其设置

如何设置：

• 支持 WebGPU 的浏览器，以及能运行它的 GPU
• 留出模型下载的空间，页面给出的数字是带 DSpark 共 3.33 GB
• Python，只有想用 Hugging Face 工具下载文件时才需要

1. 打开 Hugging Face 上这个 Space 的页面，即可在线使用。
2. 想留一份副本，就安装 huggingface_hub，再把 Space 下载到一个文件夹。
3. 进入该文件夹。
4. 在浏览器里打开 dist 文件夹中的 index.html 文件。

pip install -U huggingface_hub
hf download ProCreations/minicpm5-2b-webgpu --repo-type space --local-dir minicpm5-2b-webgpu
cd minicpm5-2b-webgpu

如何使用：打开页面，在启动界面选好设置，然后开始聊天。之后你也可以在模型设置里改这些设置。DSpark 草稿模型有三种模式。

Tool | What it does
Auto | 测量草稿成本，草稿更慢时切回普通解码
On | 强制使用 DSpark 模型起草
Off | 跳过 DSpark 的下载和分配

示例：你可以问它，"Make a one-page website for a small bakery." 模型会在聊天里写出页面代码。README 提到有一次生成的页面需要修改，所以使用之前请先检查结果。

新手与专家：如果你是新手，先用较新的桌面浏览器打开这个 Space，让模型下载一次。然后先聊几句，再让它做文档。

如果你熟悉这个领域，运行时是针对 42 层 Llama 架构的 JavaScript 和 WGSL，每一层都在 GPU 上，没有 WASM 推理二进制文件。它使用 Q8_0 权重，KV 缓存可以设成四种精度之一，从 FP32 一直到 4 位。DSpark 加入了推测解码：草稿模型最多提出七个 token，主模型一次检查它们。作者说它并不总能带来加速。

浏览器获取模型文件
WebGPU 运行时把它们载入你的 GPU
DSpark 可能提前起草几个 token
主模型检查它们并流式输出文字

注意事项：

• Speed: 在一台 Apple M4 Max 的 Chromium 上，专用运行时处理散文达到 107 tok/s。作者说速度会随浏览器、硬件和提示词而变。
• License: apache-2
• Cost to run: 没有提到费用。它需要性能足够的 GPU 和模型下载。
• Data it reaches: 从 Hugging Face 获取的模型文件。README 说推理留在你的 GPU 上。
• Not for: 长上下文质量的保证。作者只检查了 64K 和 128K 配置能分配内存并短时生成，没有做完整的质量测试。

Title: 在 Apple M4 Max 上的解码速度，256 个 token
散文，旧运行时: 58 tok/s
散文，专用运行时: 107 tok/s
散文，DSpark Auto: 104 tok/s
JavaScript，专用运行时: 104 tok/s
JavaScript，DSpark Auto: 164 tok/s

Hugging Face 上的数据（2026年11月13日）

• 点赞：9
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/ProCreations/minicpm5-2b-webgpu
• 文件：https://huggingface.co/spaces/ProCreations/minicpm5-2b-webgpu/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。