Qwen3.8-Whittle-MoE-27B-MLX-4bit

Qwen3.8-Whittle-MoE-27B-MLX-4bit

面向 Apple Silicon 的 4 位 MLX 版本，来自从稠密的 Qwen3.8-27B 切出来的混合专家模型，总参数 27B，激活 17.8B。适合用 mlx-lm 运行本地模型的人。

由 barozp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-Whittle-MoE-27B 面向 Apple Silicon 的 4 位 MLX 转换版本。后者本身是在训练之后，从稠密的 Qwen3.8-27B 里切出来的混合专家模型。每一层有 64 个路由专家切片和一个共享专家，路由器为每个令牌选 16 个切片。这样总共 27B 参数里，激活的有 17.8B。

适合谁：它适合有 Apple Silicon Mac、通过 mlx-lm 运行本地模型、想试一试稠密模型的实验性混合专家变体的人。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | Mac 用户 | 在自己的机器上和 27B 级别的模型聊天 | 在终端里问一个通用问题
软件 | 开发者 | 运行本地兼容 OpenAI 的服务器，供应用和测试使用 | 让测试脚本指向本地服务器
研究 | 模型研究人员 | 研究把稠密模型切成专家并修复路由器 | 阅读循环率和知识测试的数字
教育 | 学生 | 了解混合专家层是如何由稠密层构建出来的 | 顺着来源链阅读

如果你用的不是 Apple Silicon，可以跳过这个版本，去看作者提供的 GGUF 文件。

用在哪里：你在 Apple Silicon 的 Mac 上用 mlx-lm 运行它。

• 装有 mlx-lm 包的 Apple Silicon Mac
• 终端，用来运行 generate 和 server 命令
• 装有 Python 的 Windows、macOS 或 Linux，仅用于下载文件

场景 | 适合谁 | 得到什么
快速文字聊天 | Mac 用户 | 对一次性提示词的回复
本地 API 服务器 | 开发者 | 你机器上一个兼容 OpenAI 的接口
模型比较 | 研究人员 | 一个可与 bf16 源模型比较的 4 位版本

如何设置：你需要 Apple Silicon Mac 上的 Python 和 mlx-lm 包。模型会在你第一次运行时按名字下载。

• Apple Silicon Mac 上的 Python
• mlx-lm 包
• 足够放下 4 位 27B 模型的统一内存

1. 安装 mlx-lm。
2. 运行 generate 命令来测试，或运行 server 命令来提供服务。
3. 先用较短的提示词，同时观察速度。

pip install -U mlx-lm

pip install -U huggingface_hub
hf download barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit

如何使用：用 mlx_lm.generate 做快速文字聊天，或用 mlx_lm.server 启动本地兼容 OpenAI 的服务器。这个版本没有 MTP 头，所以一次解码一个令牌，MTPLX 推测解码不适用。

工具 | 作用
mlx_lm.generate | 在命令行里回答一条提示词
mlx_lm.server | 启动本地兼容 OpenAI 的服务器

python -m mlx_lm.generate \
  --model barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit \
  --prompt "Explain the Monty Hall problem briefly." \
  --max-tokens 512

python -m mlx_lm.server \
  --model barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit

示例：你运行 generate 命令，提示词是请简短解释蒙提霍尔问题，并限制 512 个新令牌。模型会在终端里打印出它的解释，并在达到上限时停下。

新手与专家：混合专家模型只把每个令牌送到几个小的专家块，所以每个令牌参与计算的权重更少。先用 generate 命令和一条简短的提示词，看看它怎么回答。

对行家来说，宽度为 17408 的稠密前馈层被拆成 64 个宽度为 192 的切片，外加一个宽度为 5120 的共享专家。只训练路由器，就把一项知识测试从 39 题对 4 题提高到了 39 题对 27 题。2.1 版又加入了防循环训练和一轮均衡训练。转换用的是下面这条命令。

python -m mlx_lm.convert --hf-path logic65/Qwen3.8-Whittle-MoE-27B-A17.8B --mlx-path <out> --quantize --q-bits 4 --q-group-size 64

以稠密的 Qwen3.8-27B 为起点
每一层被切成 64 个专家切片
训练路由器来修复这次拆分
2.1 版加入防循环训练
结果被转换成 4 位 MLX

注意事项：作者报告，在 2.1 版里，单轮对话的循环率从 69% 降到 8%，结构化输出失败率从约 75% 降到 22%。知识测试得分是 39 题对 28 题。

Title: 报告的 2.1 版前后失败率
之前的循环率: 69 %
2.1 版的循环率: 8 %
之前的结构化输出失败率: 75 %
2.1 版的结构化输出失败率: 22 %

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你给它的提示词（在本地运行），以及你下载的模型文件
• Not for: 用 MTPLX 做推测解码，因为来源模型没有 MTP 头，也不适用于非 Apple Silicon 的机器

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx-lm
• 参数量：26.9B
• Weights: about 108 GB in U32
• Formats: Safetensors
• 最近 30 天下载：1,611
• 点赞：11
• 许可证：apache-2.0
• 基于：logic65/Qwen3.8-Whittle-MoE-27B-A17.8B
• 标签：mlx-lm, safetensors, qwen3_5_moe, qwen, qwen3, reasoning, opus-distill, whittle, expert-pruning, router-healing, quantized, text-generation

链接

• 模型：https://huggingface.co/barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit
• 文件：https://huggingface.co/barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。