Qwen3.8-27B-oQ4e-mtp

Qwen3.8-27B-oQ4e-mtp

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

由 Jundot 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B-oQ4e-mtp 是 27B 的 Qwen3.8 视觉语言模型的压缩 MLX 版本，由 Jundot 用 oMLX 制作。比特数按每一层的敏感程度分配，所以整个检查点平均每个权重 5.044 位。三个部分一起提供：文本模型、用于图片和视频的视觉编码器，以及 MTP（多 token 预测）头。

适合谁：适合通过 MLX 在自己的电脑上运行大型多模态模型，并且想在更小的内存里使用文字、图片和视频理解的人。文件采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在 MLX 应用里本地运行多模态模型 | 针对一张截图提问
研究 | 量化研究人员 | 研究基于敏感度的混合精度 | 阅读位数分布表
效率 | 高级用户 | 在个人电脑上保留一个大型视觉语言模型 | 描述一段视频的内容

如果你需要 MLX 之外的运行环境，可以跳过它，因为这个检查点是为 MLX 打造的。

用在哪里：

• MLX，这是 Hugging Face 列出的库，专为 Apple Silicon Mac 打造
• 基于 MLX 的工具，例如 oMLX，也就是制作这个量化版本的项目
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
图片提问 | 开发者 | 针对你提供的图片的文字回答
视频理解 | 研究人员 | 描述片段中发生了什么的文字
超长输入 | 高级用户 | 262,144 个 token 的原生上下文

如何设置：

• Python 和 huggingface_hub 软件包，用来下载文件
• 能加载视觉语言检查点的 MLX 环境
• 为文件留出空间，总共约 17.517 GB

1. 如果还没有 Python 和 MLX 工具，先安装。
2. 用下面第一条命令安装 huggingface_hub 软件包。
3. 用第二条命令下载模型文件。
4. 如果你有较早的副本，请重新下载这一个，因为模型卡说它在 2026-10-29 重新做了量化。

pip install -U huggingface_hub
hf download Jundot/Qwen3.8-27B-oQ4e-mtp

如何使用：文件放到你的电脑上之后，你在 MLX 工具里加载检查点，并向它发送文字、图片或视频。这里能看到的模型卡文字没有给出运行命令，所以请按你所用工具加载视觉语言模型的步骤操作。

示例：你加载检查点，附上一张照片，问它画面里是什么。模型用它的视觉编码器读取图片，并用文字回答。

新手与专家：量化就是用更少的位数存储模型的数字，让它能装进更小的内存。一个好的起步是下载文件，并在你的 MLX 工具里加载它们。

oQ4e 方法按实测的层敏感度来设定位数。随后它用一个由 128 个样本、每个 512 个 token 组成的重要性矩阵对每一组做取整，并用加权最小二乘重新拟合缩放和偏置。约 70% 的权重是 4 位，其余使用 5、6 或 8 位，或 BF16。

测量每一层的敏感度
分配 4、5、6 或 8 位
用重要性矩阵取整
重新拟合缩放和偏置
保存 MLX 检查点

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载时从 Hugging Face 获取文件，来源没有提到其他内容
• 模型卡说它是用 oMLX 0.7.3 里改进后的 oQe 方法重新量化的
• Hugging Face 把权重列为约 111 GB 的 U32，而模型卡写的整个检查点是 17.517 GB

Title: 各存储格式的权重占比，单位百分比
Affine 4-bit: 69.807 %
Affine 5-bit: 23.680 %
Affine 6-bit: 4.615 %
BF16: 1.857 %
Affine 8-bit: 0.041 %

Title: 各组件的存储，单位 GB
Language backbone: 16.272 GB
Vision encoder: 0.921 GB
MTP head: 0.323 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：27.8B
• Weights: about 111 GB in U32
• Formats: Safetensors
• 最近 30 天下载：37,954
• 点赞：86
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：safetensors, qwen3_5, quantized, image-text-to-text, conversational, 4-bit

链接

• 模型：https://huggingface.co/Jundot/Qwen3.8-27B-oQ4e-mtp
• 文件：https://huggingface.co/Jundot/Qwen3.8-27B-oQ4e-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jundot/Qwen3.8-27B-oQ4e-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。