Meditor WebGPU Chat

Meditor WebGPU Chat

一个聊天页面，通过 WebGPU 在你的浏览器里用你自己的 GPU 运行 Meditor 语言模型，带本地缓存和实时速度显示。适合想要不用云 GPU 的私密聊天的人。

由 Yo-Purple 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Meditor WebGPU Chat 是一个静态网页，在你的浏览器里运行 Meditor 语言模型。模型权重下载到你的机器上，通过 WebGPU 在你自己的 GPU 上运行。不涉及云 GPU，作者说明你的提示词和回复都留在你的电脑上。

适合谁：适合想用小模型做私密本地聊天的人，也适合想要一个带本地缓存的 WebGPU 推理可用示例的开发者。

Industry | Who uses it | How they use it | Example
注重隐私的工作 | 普通用户 | 聊天时不把文字发给云服务 | 打开 Space 问一个简短的问题
AI 开发 | 开发者 | 研究带缓存权重的浏览器内推理 | 阅读 index.html 和 wllama 文件
硬件测试 | 发烧友 | 看笔记本 GPU 怎样处理小模型 | 聊天时观察速度显示

浏览器不支持 WebGPU 的人可以跳过它，因为页面依赖 WebGPU。

用在哪里：

• 支持 WebGPU 的浏览器：这个 Space 在 Hugging Face 上运行，不用安装任何东西
• Windows、macOS 或 Linux：在受支持的浏览器里打开下载好的 index.html

Use case | Who | What they get back
本地聊天 | 普通用户 | 在你自己 GPU 上生成的回复
模型对比 | 开发者 | 对小号和大号 Meditor 模型的直观感受
速度检查 | 发烧友 | 每秒 token 数和首个 token 时间

如何设置：

• 一个支持 WebGPU 的浏览器，比如较新的 Chrome、Chromium、Edge、Brave 或 Safari，或者打开了开关的 Firefox
• Python 和 pip，只在本地副本时用来下载文件
• 浏览器存储里要留出放模型权重的空间

1. 安装 Hugging Face hub 包。
2. 把 Space 的文件下载到一个文件夹。
3. 进入这个文件夹。
4. 用受支持的浏览器打开 index.html。

pip install -U huggingface_hub
hf download Yo-Purple/meditor-webgpu --repo-type space --local-dir meditor-webgpu
cd meditor-webgpu

Firefox 需要先在高级设置里打开 WebGPU，设置如下。

dom.webgpu.enabled = true

如何使用：打开 Space 页面或本地的 index.html，选一个模型开始聊天。页面把权重保存在浏览器的私有文件存储里，所以之后再访问时不用重新下载。它还会显示实时速度数据、token 数量和你的 GPU 详情。页面提供下面这些模型。

• Meditor-1 Universal: 5 亿参数的稠密模型，有 4 位、8 位和 16 位版本，推荐 4 位版本
• Meditor-2 Universal: 34 亿参数的混合专家模型，有 3 位、4 位和 5 位版本
• 自定义模型: 你从 Hugging Face 仓库加载的任何 GGUF 文件

示例：你打开页面，选 4 位的 Meditor-1 Universal 模型，让它下载一次。然后你问一个简短的问题，在回复出现时观察每秒 token 数的显示。

新手与专家：如果你是新手，先从推荐的小模型开始，因为它下载最快。第一次加载之后，它会从浏览器缓存里快速启动。

如果你是专家，页面通过 WGSL 着色器在 GPU 上运行权重，并报告首个 token 时间和 token 数量。Meditor-2 模型是混合专家设计，总参数 3.4B，激活参数 1.8B。

你选一个模型
权重下载到浏览器存储
WebGPU 在你的 GPU 上运行它们
回复流式出现在页面里

注意事项：

• License: apache-2
• Cost to run: 没有提到，也不使用云 GPU
• Data it reaches: 从 Hugging Face 获取的模型权重，作者说明提示词和回复都留在你的电脑上
• Not for: 不支持 WebGPU 的浏览器

Hugging Face 上的数据（2026年11月13日）

• 点赞：1
• 构建方式：static
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/Yo-Purple/meditor-webgpu
• 文件：https://huggingface.co/spaces/Yo-Purple/meditor-webgpu/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。