Qwen3.6-35B-A3B-4bit

Qwen3.6-35B-A3B-4bit

Qwen3.6-35B-A3B 的 4-bit MLX 转换版，可在 Apple Silicon Mac 上回答文本和图片提示词。适合想用 mlx-vlm 在本地运行这个 Qwen 模型的人。

由 mlx-community 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen 的 Qwen3.6-35B-A3B 的 4-bit MLX 副本，用 mlx-vlm 0.4.4 版本转换。它读取文本和图片，用文本回复。记录里该模型有 35.1B 参数。模型卡很简短，并让你去看 Qwen 的原模型卡了解细节。

适合谁：如果你有 Apple Silicon Mac，想在自己的机器上试一个大型 Qwen 模型，而不用云服务，它很适合开发者和爱好者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地模型上运行文本和图片提示词 | 在终端里描述一张截图
设计和媒体 | 创作者 | 离线快速得到图片描述 | 为一张照片写说明
教育 | 学生 | 在 Mac 上试验大模型 | 比较不同设置下的回复
研究 | 机器学习爱好者 | 测试 MLX 的 4-bit 转换 | 对照原模型检查输出

如果你不用 Apple Silicon，可以跳过它，因为这是 MLX 格式的副本。

用在哪里：

• Apple Silicon Mac，通过 mlx-vlm 包
• 终端，每条提示词一条命令
• 图片描述和文本提示词

用途 | 谁用 | 得到什么
描述图片 | 创作者 | 对图片的文字描述
文本提示词 | 开发者 | 模型的文字回复

如何设置：

• 一台 Apple Silicon 的 Mac
• Python，并安装 mlx-vlm 包
• 充足的磁盘空间，因为记录里列出的权重约 140 GB，格式为 U32

1. 安装 mlx-vlm。
2. 用模型名运行 generate 命令。
3. 想让它描述图片时，加上图片路径。

pip install -U mlx-vlm

pip install -U huggingface_hub
hf download mlx-community/Qwen3.6-35B-A3B-4bit

如何使用：你用模型名、token 上限、温度、提示词和图片路径运行 mlx_vlm 的 generate 模块。模型卡给出了一条描述图片的命令。

python -m mlx_vlm.generate --model mlx-community/Qwen3.6-35B-A3B-4bit --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>

选项 | 作用
--model | 指定要加载的模型
--max-tokens | 限制回复的长度
--temperature | 设定回复的多样程度
--prompt | 放你的指令
--image | 附上要描述的图片

示例：你让命令指向一张照片，提示词是 "Describe this image."，上限 100 个 token。模型会打印一段对图片内容的简短描述。

新手与专家：可以把它看作装进更小文件、专为苹果芯片准备的大模型。第一次尝试时，可以用模型卡里的描述命令，对你自己的一张照片试一试。

如果你熟悉这个领域，这是一次转换，而不是重新训练，用 mlx-vlm 0.4.4 转成 4 位。模型卡没有给出基础模型、量化方法或基准测试的更多细节，这些请看 Qwen 的原模型卡。

安装 mlx-vlm
运行 generate 命令
模型读取提示词和图片
描述显示在终端里

注意事项：

• 来源：从 Qwen3.6-35B-A3B 转换而来，模型的细节请看那张模型卡。
• 细节：这张模型卡没有基准测试或质量说明。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它会从 Hugging Face 下载模型文件，并处理你给它的提示词和图片。
• Not for: 没有 Apple Silicon 的机器。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：mlx
• 参数量：35.1B
• Weights: about 140 GB in U32
• Formats: Safetensors
• 最近 30 天下载：33,952
• 点赞：124
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 6
• 标签：safetensors, qwen3_5_moe, image-text-to-text, conversational, 4-bit

链接

• 模型：https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-4bit
• 文件：https://huggingface.co/mlx-community/Qwen3.6-35B-A3B-4bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mlx-community/Qwen3.6-35B-A3B-4bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。