Qwen3.8-27B-oQ6e-mtp

Qwen3.8-27B-oQ6e-mtp

Qwen3.8-27B 的混合精度 MLX 副本，约每个权重 6.9 位，包含视觉编码器和多词元预测头，可在 Apple 芯片上本地运行。

由 Jundot 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是转换成 MLX 并用 oQ6e 压缩的 Qwen3.8-27B，oQ6e 是 oMLX 的混合精度方法。原模型是能理解文字、图片和视频的 27B 稠密模型。它沿用 Qwen3.5 的设计，原生可处理多达 262,144 个词元。

它的各层混合使用 Gated DeltaNet 和 Gated Attention 两种设计。打包内容包括语言模型、视觉编码器和一次预测多个词元的头。整个检查点平均每个权重 6.872 位。

适合谁：适合用 MLX 在本地运行模型、想要一个接近完整质量、约 22 GiB 的 27B 多模态模型副本的人。量化研究者也可以读它的比特表。

Industry | Who uses it | How they use it | Example
软件 | 本地模型开发者 | 在自己的机器上运行文字和图像模型 | 能读图片的离线助手
研究 | 量化研究者 | 研究 6 位和 8 位的分配 | 阅读模型卡的比特分布表
爱好者 | MLX 用户 | 在本地和大模型聊天 | Mac 上的私人助手

如果你想要小得多的文件，因为这个副本保持高精度，或者你不使用 MLX，可以跳过它。

用在哪里：它是 MLX 检查点，用于 Apple 芯片上基于 MLX 的工具。模型卡点名 oMLX 是制作量化的工具。

• Apple 芯片上基于 MLX 的工具
• oMLX，也就是背后的量化工具
• 容得下约 22 GiB 权重的机器

Use case | Who | What they get back
带图片的本地聊天 | 爱好者 | 对文字和图片提示的回复
长上下文工作 | 开发者 | 原生上下文为 262,144 词元的模型
量化比较 | 研究者 | 一个可与低比特版本比较的 6 位副本

如何设置：你需要 Python 来运行下载工具、一个基于 MLX 的运行工具，以及约 22 GiB 的空间。模型卡只给出下载步骤，没有运行命令。

• 带 pip 的 Python
• 兼容 MLX 的运行工具
• 约 22.2 GiB 磁盘空间

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载仓库文件。
3. 在你的 MLX 运行工具里打开检查点。

pip install -U huggingface_hub
hf download Jundot/Qwen3.8-27B-oQ6e-mtp

如何使用：在基于 MLX 的工具里加载这个文件夹并和它聊天。模型卡没有运行命令，所以请按你所用工具的步骤操作。如果你有旧副本，模型卡说要重新下载。

Part | Storage format
大部分权重 | Affine 6 位，分组大小 64
部分层 | Affine 8 位，分组大小 64
其他组件 | BF16

示例：你在 MLX 运行工具里打开检查点，问它拍下来的白板上写了什么。模型凭视觉编码器和语言主干作答，整个过程都在你的机器上。

新手与专家：如果你是新手，这是一个可以直接加载的模型文件夹。用上面两条命令下载，在 MLX 工具里打开，先问一个简短的文字问题。

如果你熟悉这个领域：oQ6e 按测得的层敏感度来花比特。它用取自 128 个样本（每个 512 词元）的重要性矩阵对每组取整，然后重新拟合缩放和偏置。语言主干平均每个权重 6.700 位。

测量层的敏感度
按组分配 6 位或 8 位
用重要性矩阵取整
重新拟合缩放和偏置
保存 MLX 检查点

注意事项：约 88% 的权重以 6 位存储。模型卡给出下面的大小，总计约 23.865 GB。

Title: 各组件的存储量，单位为 GB
Language backbone: 22.526 GB
Vision encoder: 0.921 GB
MTP head: 0.418 GB

• License: Apache 2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你在本地给它的提示词和图片
• Not for: MLX 以外的工具，因为这是 MLX 检查点

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：27.8B
• Weights: about 111 GB in U32
• Formats: Safetensors
• 最近 30 天下载：2,536
• 点赞：21
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：safetensors, qwen3_5, quantized, image-text-to-text, conversational, 6-bit

链接

• 模型：https://huggingface.co/Jundot/Qwen3.8-27B-oQ6e-mtp
• 文件：https://huggingface.co/Jundot/Qwen3.8-27B-oQ6e-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jundot/Qwen3.8-27B-oQ6e-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。