Qwen3.6-35B-A3B-oQ6e-mtp

Qwen3.6-35B-A3B-oQ6e-mtp

Qwen3.6-35B-A3B 的混合精度 MLX 副本，约每个权重 6.8 位，包含视觉编码器和多词元预测头，可在 Apple 芯片上本地运行。

由 Jundot 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是转换成 MLX 并用 oQ6e 压缩的 Qwen3.6-35B-A3B，oQ6e 是 oMLX 的混合精度方法。原模型是处理文字和图片的混合专家模型，总参数 35B，每个词元使用 3B。

它的各层交替使用 Gated DeltaNet 和 Gated Attention 两种设计。里面打包了三个部分：语言模型、视觉编码器和一次预测多个词元的头。整个检查点平均每个权重 6.762 位。

适合谁：适合用 MLX 在本地运行模型、想要一个接近完整质量、约 28 GiB 就能装下的中等规模多模态模型的人。量化研究者也可以读它的比特表。

Industry | Who uses it | How they use it | Example
软件 | 本地模型开发者 | 在自己的机器上运行多模态模型 | 能读截图的离线助手
研究 | 量化研究者 | 研究 6 位和 8 位混合分配 | 阅读模型卡的比特分布表
爱好者 | MLX 用户 | 在本地和中等规模模型聊天 | Mac 上的私人助手

如果你想要小得多的文件，因为这个副本保持高精度，或者你不使用 MLX，可以跳过它。

用在哪里：它是 MLX 检查点，用于 Apple 芯片上基于 MLX 的工具。模型卡点名 oMLX 是制作量化的工具。

• Apple 芯片上基于 MLX 的工具
• oMLX，也就是背后的量化工具
• 容得下约 28 GiB 权重的机器

Use case | Who | What they get back
带图片的本地聊天 | 爱好者 | 本地模型对文字和图片提示的回复
更高保真的量化 | 研究者 | 一个可与低比特版本比较的 6 位副本
多词元预测测试 | 开发者 | 包含 MTP 头的检查点

如何设置：你需要 Python 来运行下载工具、一个基于 MLX 的运行工具，以及约 28 GiB 的空间。模型卡只给出下载步骤，没有运行命令。

• 带 pip 的 Python
• 兼容 MLX 的运行工具
• 约 28.3 GiB 磁盘空间

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载仓库文件。
3. 在你的 MLX 运行工具里打开检查点。

pip install -U huggingface_hub
hf download Jundot/Qwen3.6-35B-A3B-oQ6e-mtp

如何使用：在基于 MLX 的工具里加载这个文件夹并和它聊天。模型卡没有运行命令，所以请按你所用工具的步骤操作。模型卡说，如果你有这个模型的旧副本，请重新下载。

Part | Storage format
大部分权重 | Affine 6 位，分组大小 64
部分层 | Affine 8 位，分组大小 64 或 128
其他组件 | BF16

示例：你在 MLX 运行工具里打开检查点，请它总结一张图表图片。模型凭语言主干和视觉编码器作答，整个过程都在你的机器上。

新手与专家：如果你是新手，这是一个可以直接加载的模型文件夹。用上面两条命令下载，然后在 MLX 工具里打开，先问一个简短的文字问题。

如果你熟悉这个领域：oQ6e 按测得的层敏感度来花比特。它用取自 128 个样本（每个 512 词元）的重要性矩阵对每组取整，然后重新拟合缩放和偏置。语言主干平均每个权重 6.645 位。

测量层的敏感度
按组分配 6 位或 8 位
用重要性矩阵取整
重新拟合缩放和偏置
保存 MLX 检查点

注意事项：超过 90% 的权重以 6 位存储。模型卡给出下面的大小，总计约 30.388 GB。

Title: 各组件的存储量，单位为 GB
Language backbone: 28.791 GB
Vision encoder: 0.893 GB
MTP head: 0.704 GB

• License: Apache 2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你在本地给它的提示词和图片
• Not for: MLX 以外的工具，因为这是 MLX 检查点

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：36B
• Weights: about 144 GB in U32
• Formats: Safetensors
• 最近 30 天下载：1,052
• 点赞：4
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• 标签：safetensors, qwen3_5_moe, quantized, image-text-to-text, conversational, 6-bit

链接

• 模型：https://huggingface.co/Jundot/Qwen3.6-35B-A3B-oQ6e-mtp
• 文件：https://huggingface.co/Jundot/Qwen3.6-35B-A3B-oQ6e-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jundot/Qwen3.6-35B-A3B-oQ6e-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。