Qwen3.5-9B-OptiQ-4bit

Qwen3.5-9B-OptiQ-4bit

Qwen3.5-9B 的 4-bit 混合精度 MLX 版本，用于在 Apple Silicon 上本地生成文本，自带多词元预测头。适合在 Mac 上本地运行模型的人。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.5-9B-OptiQ-4bit 是 Qwen3.5-9B 的 4-bit 混合精度 MLX 量化版本，用 mlx-optiq 工具包制作。一次敏感度分析决定每一层的精度：敏感的层保持 8-bit，稳健的层降到 4-bit。模型卡说磁盘大小与普通统一 4-bit 量化相差约 5%。

适合谁：在 Apple Silicon Mac 上运行语言模型、想要紧凑的 9B 模型的人最适合它。想要本地服务器、支持 OpenAI 风格和 Anthropic 风格接口的开发者，可以再加上 mlx-optiq 工具。

行业 | 使用者 | 使用方式 | 例子
软件 | 开发者 | 用 mlx-lm 在 Python 里运行本地 9B 模型 | 在词元上限内生成文字
AI 工具 | 本地大模型用户 | 用混合精度 KV 缓存和推测解码来运行模型 | 带着 MTP 头启动 optiq 服务器
研究 | 量化研究人员 | 比较混合精度和普通统一 4-bit | 阅读模型卡里的六项指标对比

如果你不用 Apple Silicon Mac，可以跳过它，因为这个工具包和格式针对的就是那种硬件。

用在哪里：在 Apple Silicon 上，通过 Python 使用它。

• 使用 mlx-lm 的 Python 脚本
• mlx-optiq 提供的 optiq serve 命令
• Windows、macOS 或 Linux，用 Python 下载

用例 | 谁用 | 得到什么
本地文本生成 | 开发者 | 在你自己的机器上，根据提示词生成文字
本地服务器 | 应用构建者 | 兼容 OpenAI 和 Anthropic 的推理服务器
更快的解码 | 进阶用户 | 用自带的 MTP 头，解码约快 1.4x

如何设置：你需要 Python、mlx-lm 包和一台 Apple Silicon Mac。

• 带 pip 的 Python
• 一台 Apple Silicon Mac，工具包就是为它打造的
• 约 6.6 GB 的磁盘空间，这是模型卡给出的磁盘大小

1. 安装 mlx-lm。
2. 如果需要服务器和额外工具，再安装 mlx-optiq。
3. 在 Python 里按名称加载模型。

pip install mlx-lm

pip install mlx-optiq

如何使用：用 mlx-lm 加载模型并调用 generate。要使用自带的多词元预测头，就带上 --mtp 参数启动 optiq 服务器。

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Qwen3.5-9B-OptiQ-4bit")
response = generate(
    model, tokenizer,
    prompt="Explain quantum computing in simple terms.",
    max_tokens=200,
)

optiq serve --model mlx-community/Qwen3.5-9B-OptiQ-4bit --mtp

Tool | What it does
mlx-lm | 加载模型并根据提示词生成文字
mlx-optiq | 增加混合精度 KV 缓存服务、LoRA 微调、兼容 OpenAI 的服务器、可热切换的适配器，以及供智能体使用的沙盒 Python
optiq serve --mtp | 带着自带的多词元预测头来运行模型服务

示例：你加载模型，让它简单解释一下量子计算，上限 200 个词元。这次调用把生成的文字放在 response 变量里返回。

新手与专家：这是一个 9B 聊天模型的压缩小版本，可以在 Mac 上运行。第一次可以先安装 mlx-lm，原样运行上面的 Python 代码。

一次 KL 散度敏感度分析，在六个领域的校准混合数据上，每个领域 40 个样本，决定每一层的位宽，分组大小为 64。自带的 mtp.safetensors 头实现推测解码，模型卡报告在深度 2 时接受率接近 70%。代价是磁盘大小，比普通统一 4-bit 多 1.1 GB。

从 Qwen3.5-9B 出发
测量每一层的敏感度
敏感的层保持 8-bit
稳健的层降到 4-bit
带或不带 MTP 头来运行服务

注意事项：模型卡在六项指标上把这个量化版本与普通统一 4-bit 做了对比，结果有好有坏。

指标 | OptiQ | 统一 4-bit | 差值
MMLU | 69.1% | 68.6% | +0.5
GSM8K | 81.7% | 81.7% | +0.0
IFEval | 71.2% | 71.0% | +0.2
BFCL-V3 simple | 91.0% | 92.0% | -1.0
HumanEval | 81.1% | 78.7% | +2.4
HashHop | 25.0% | 26.0% | -1.0
Capability Score | 69.85 | 69.66 | +0.19
磁盘大小 | 6.6 GB | 5.5 GB | +1.1

Title: 各精度的层数
8-bit 层: 132 layers
4-bit 层: 116 layers

• Other runtimes: 如果你在 optiq serve 之外加载这个头，要给它的七个归一化权重都加 1.0
• License: Apache 2.0
• Cost to run: 未提到费用
• Data it reaches: 你的提示词和来自 Hugging Face 的模型文件。模型卡没有提到账号或网络服务
• Not for: Apple Silicon 之外的机器，因为工具包就是为那种硬件打造的

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：9B
• Weights: about 35.8 GB in U32
• Formats: Safetensors
• 最近 30 天下载：6,547
• 点赞：114
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-9B
• 标签：safetensors, qwen3_5, quantized, mixed-precision, 4bit, 8bit, optiq, apple-silicon, text-generation, qwen3.5, conversational, 4-bit

链接

• 模型：https://huggingface.co/mlx-community/Qwen3.5-9B-OptiQ-4bit
• 文件：https://huggingface.co/mlx-community/Qwen3.5-9B-OptiQ-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/Qwen3.5-9B-OptiQ-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。