Qwen3.8-27B-oQ8e-mtp

Qwen3.8-27B-oQ8e-mtp

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。

由 Jundot 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Qwen/Qwen3.8-27B 的 MLX 检查点，用 oMLX 里的 oQ 方法量化。它保留了语言模型、视觉编码器和多词元预测头。平均每个权重 8.639 位。

适合谁：它适合在 Mac 上运行大模型、想要 8 位质量、并且需要图片输入和推测解码头的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在苹果硬件上运行本地视觉语言模型 | 离线时问一张截图的内容
研究 | 机器学习研究者 | 研究按层敏感度做的混合精度量化 | 对比 8 位 oQ 和统一 8 位
AI 爱好者 | 本地模型用户 | 与接近原始质量的大模型聊天 | 描述一张照片并继续追问
内容 | 创作者 | 在私人机器上获得图片和视频理解 | 在自己的电脑上总结一段短视频

如果你的机器比较小，可以跳过它，因为这个检查点约占 30 GB。

用在哪里：

• 苹果芯片 Mac 上基于 MLX 的工具
• oMLX，卡片点名的这种量化所用的工具
• Windows、macOS 或 Linux，用 Python 下载文件

使用场景 | 适合谁 | 能得到什么
图片提问 | 开发者 | 针对图片或视频的文字回答
长上下文聊天 | 本地模型用户 | 原生 262,144 个词元上下文的模型
更快的解码 | 开发者 | 保留下来用于推测解码的 MTP 头

如何设置：你需要装有 pip 的 Python、一个基于 MLX 的运行程序，以及约 30 GB 磁盘。

• Python 和 pip
• 一个基于 MLX 的运行程序，比如卡片提到的 oMLX 工具
• 约 30 GB 磁盘，来自卡片的存储表

1. 用 pip 安装 Hugging Face 客户端。
2. 用 hf 命令下载这个仓库。
3. 在你的 MLX 运行程序里加载这个文件夹。
4. 如果你有更早的副本，请重新下载，因为卡片说量化重新做过。

pip install -U huggingface_hub
hf download Jundot/Qwen3.8-27B-oQ8e-mtp

如何使用：在 MLX 运行程序里加载好以后，你可以用文字聊天，或者加上图片或视频。卡片没有给出运行命令，所以请按你的运行程序自己的说明来做。

示例：你加载这个检查点，附上一张照片，问里面有什么。模型会用视觉编码器读图，并用文字回答。然后你可以在同一个聊天里继续追问。

新手与专家：量化就是用更少的位数存储数字。这里大多数权重用 8 位，所以质量接近原版，同时文件比完整的 BF16 模型小。第一件可以试的小事，是上面的下载命令。

oQ8e 方法按测得的层敏感度分配位数。然后用由 128 个、每个 512 词元的样本构建的重要性矩阵对每一组取整，并用加权最小二乘重新拟合缩放和偏置。基础模型把 Gated DeltaNet 层和 Gated Attention 层混合在 Qwen3.5 的设计上。

Qwen3.8-27B 原模型
测量每一层的敏感度
分配位数并用重要性矩阵取整
重新拟合缩放和偏置
带 MTP 头的 MLX 检查点

注意事项：

• Storage: 卡片给出总共 30.001 GB，而 Hugging Face 以 U32 为单位列出了更大的数字，所以请按卡片的数字来规划。

Title: 各部分的存储，单位 GB
语言主干: 28.579 GB
视觉编码器: 0.921 GB
MTP 头: 0.500 GB

存储格式 | 占权重的比例 | 每个权重的位数
仿射 8 位，分组 64 | 98.143% | 8.50
BF16 | 1.857% | 16.00

• Re-download: 卡片说这个检查点用改进的 oQe 方法重新量化过，所以更早的副本应该替换掉。
• License: Apache 2.0，许可证一行就是这样写的。卡片说它沿用源模型的许可证。
• Cost to run: 没有提到 API 密钥、账号或付费服务。你需要装得下约 30 GB 的硬件。
• Data it reaches: 你交给运行程序的提示词、图片和视频，以及下载时用到的 Hugging Face。
• Not for: 卡片没有列出禁止的用途。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：27.8B
• Weights: about 111 GB in U32
• Formats: Safetensors
• 最近 30 天下载：2,954
• 点赞：16
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：safetensors, qwen3_5, quantized, image-text-to-text, conversational, 8-bit

链接

• 模型：https://huggingface.co/Jundot/Qwen3.8-27B-oQ8e-mtp
• 文件：https://huggingface.co/Jundot/Qwen3.8-27B-oQ8e-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jundot/Qwen3.8-27B-oQ8e-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。