Qwen3.8-27B-mixed-3.5bpw-MLX

Qwen3.8-27B-mixed-3.5bpw-MLX

一个压缩到每个权重 3.5 位的 27B 视觉语言模型，适用于 24 GB 内存的 Apple Silicon Mac，通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。

由 rapid-mlx 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.8-27B 面向 Apple Silicon Mac 的 MLX 版本，被压缩到平均每个权重 3.5 位。它接收文字和图片，并用文字回答。模型卡称它能装进 24 GB 的 Mac，同时让推理、知识和代码能力接近标准 4-bit 版本。

适合谁：适合想在自己机器上运行 27B 视觉语言模型的 Mac 用户，也适合想给编程智能体配本地模型的开发者。你需要一台至少有 24 GB 统一内存的 Apple Silicon Mac。

Industry | Who uses it | How they use it | Example
软件 | 使用 Mac 的开发者 | 运行大型本地模型获取编程帮助 | 把它接到编程智能体上
AI 应用 | 智能体开发者 | 在本地提供兼容 OpenAI 的端点 | 让应用指向本地服务器
研究 | 量化研究人员 | 研究混合精度分配 | 比较 3.5 bpw 版本和统一 3-bit
日常使用 | 注重隐私的用户 | 和一个不离开电脑的模型聊天 | 针对一张图片提问

如果你没有 Apple Silicon Mac，可以跳过它，因为这个版本面向 MLX 和 Apple 统一内存。

用在哪里：

• Apple Silicon Mac，最低 24 GB 统一内存，32 GB 能给上下文留出更多空间
• Rapid-MLX，它以兼容 OpenAI 的接口提供这个模型
• OpenCode、Claude Code 和 Codex，模型卡称可通过 agents 设置命令连接

Use case | Who | What they get back
本地文字聊天 | Mac 用户 | 在你自己机器上生成的回复
图片提问 | Mac 用户 | 开启视觉选项后得到关于图片的文字回答
智能体后端 | 开发者 | 给编程智能体用的本地模型
更快解码 | 进阶用户 | 用附带的 MTP 草稿模型做可选的推测解码

如何设置：

• 至少有 24 GB 统一内存的 Apple Silicon Mac
• 安装好 Python 和 pip
• 运行模型的 Rapid-MLX，以及约 13 GB 的空闲磁盘空间

1. 如果想把文件放在本地，先安装 Hugging Face hub 包并下载文件。
2. 用 pip 安装 Rapid-MLX。
3. 用下面的某条 serve 命令启动服务器。

pip install -U huggingface_hub
hf download rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX

pip install rapid-mlx

如何使用：用文字模式启动服务器，或加上视觉参数以支持图片。然后向本地兼容 OpenAI 的端口发送聊天请求，这些命令里的端口是 8000。

rapid-mlx serve rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX --port 8000            # text
rapid-mlx serve rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX --port 8000 --mllm     # + vision

下面的简短写法使用模型的内置名称。

rapid-mlx serve qwen3.8-27b-mixed-3.5bpw

仓库里还有配套的多词元预测草稿模型。你可以用这条命令开启无损推测解码。它默认关闭，因为不同 Apple 芯片上的提速效果不一样。

rapid-mlx serve qwen3.8-27b-mixed-3.5bpw \
  --speculative-config '{"method":"mtp","model":"rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX","num_speculative_tokens":3}'

Tool | What it does
rapid-mlx serve | 启动模型的本地服务器
--mllm | 加入视觉，让服务器接受图片
--speculative-config | 开启可选的 MTP 推测解码
rapid-mlx agents <name> --setup | 把服务器连接到 OpenCode、Claude Code 或 Codex 等编程智能体

示例：服务器运行起来后，你发送一个让模型打招呼的聊天请求。它会回复一句简短的问候，任何兼容 OpenAI 的客户端都可以用同样的请求格式。

新手与专家：如果你刚接触，先确认你的 Mac 有 24 GB 内存，启动纯文字服务器，发一句简单的问候，再去试图片或智能体。第一次启动最慢，因为权重很大。

专家会看到一种感知激活的混合精度分配。校准运行先测出每个语言层对输出的影响程度。越关键的层分到的位数越多，从 2 位到 4 位不等，平均目标是每个权重 3.5 位。视觉部分保持 4-bit，分组大小为 64。

Title: 各版本的 MMLU-Pro 分数
4-bit 版本: 60.8 分
本 3.5 bpw 版本: 61.0 分
统一 3-bit 版本: 54.2 分

Title: 模型卡自己测试的报告分数
Benchmark | 4-bit | This build | Uniform 3-bit
MMLU-Pro | 60.8 | 61.0 | 54.2
GSM8K | 95.3 | 94.7 | 92.7
HumanEval+ | 77.5 | 80.0 | 无
MMBench-EN | 90.3 | 86.7 | 87.3

在 Mac 上安装 Rapid-MLX
用 serve 命令启动服务器
发送文字或图片请求
读取文字回复

注意事项：

• Size: 磁盘上约 13 GB，标准 4-bit 版本约 16 GB，bf16 约 51 GB
• Memory: 实测峰值内存约为 14.6 到 16.5 GB
• Vision: 在 MMBench-EN 上得分低于 4-bit 版本，因为混合精度的预算用在了语言部分
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，只需要内存足够的 Mac
• Data it reaches: 会从 Hugging Face 下载权重，服务器在你自己的机器上运行
• Not for: 来源没有列出禁止用途，它为 Apple Silicon 打造，不适用于 Windows 或 Linux 电脑

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：27.4B
• Weights: about 109 GB in U32
• Formats: Safetensors
• 最近 30 天下载：715
• 点赞：10
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Qwen/Qwen3.8-27B
• 标签：safetensors, qwen3_5, apple-silicon, multimodal, qwen, quantized, mixed-precision, rapid-mlx, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX
• 文件：https://huggingface.co/rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。