MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

由 Jackrong 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Jackrong 一个蒸馏版 Qwen3.5 0.8B 模型的 6 位 MLX 转换版，一个小型文本生成模型。Hugging Face 标注它有 752M 参数。转换用的是 mlx-lm 0.30.7 版。

适合谁：它适合想用一个很小的语言模型做快速本地测试的人，主要是运行 MLX 的机器。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 用加载很快的模型测试 MLX 流程 | 检查你的 generate 调用能否从头到尾跑通
教育 | 学生 | 学习本地语言模型怎么加载和回复 | 运行第一个提示词并读输出
AI 爱好者 | Mac 用户 | 在个人电脑上试一个紧凑模型 | 离线和一个小模型聊天
研究 | 折腾的人 | 把 6 位小模型和更大的模型对比 | 记下短回答在质量上的差别

如果你需要处理又长又难的任务的模型，可以跳过它，因为它很小。

用在哪里：

• 装有 mlx-lm 包的 Python
• Mac，因为 MLX 是苹果的机器学习框架
• 下载这一步在装有 Python 的 Windows、macOS 或 Linux 上都能做

使用场景 | 适合谁 | 能得到什么
快速本地测试 | 开发者 | 在终端里打印出的对短提示词的回复
学习工具 | 学生 | 一个可以在上面继续搭建的加载和生成示例
离线聊天 | Mac 用户 | 不用云服务的文字回答

如何设置：你需要装有 pip 的 Python 和 mlx-lm 包。

• Python 和 pip
• mlx-lm 包
• 约 3 GB 磁盘，这是 Hugging Face 标出的权重大小

1. 用 pip 安装 Hugging Face 客户端。
2. 用 hf 命令下载这个仓库，或者让示例按名字自己加载。
3. 用 pip 安装 mlx-lm。

pip install -U huggingface_hub
hf download Jackrong/MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

pip install mlx-lm

如何使用：你运行一个简短的 Python 脚本。它按名字加载模型，在分词器有聊天模板时把你的提示词套进模板，并在生成过程中打印回复。

from mlx_lm import load, generate

model, tokenizer = load("Jackrong/MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, return_dict=False,
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

工具 | 作用
load | 按名字加载模型和它的分词器
apply_chat_template | 把你的消息转成模型期望的格式
generate | 生成回复，verbose 打开时会把它打印出来

示例：你保留示例里的提示词，也就是单词 hello，然后运行脚本。提示词会经过聊天模板，模型会打印一句简短的问候作为回复。

新手与专家：MLX 是在苹果硬件上运行模型的框架，而这是一个以 6 位形式存储的很小的模型。第一件可以试的小事，是上面的示例，它只需要几行。

卡片除了转换之外说得很少。这个模型来自一个蒸馏过的 Qwen3.5 0.8B 模型，用 mlx-lm 转换，权重在 Hub 上显示为 U32。代价很直白：模型小而快，深度有限。请用你自己的提示词检查质量。

Jackrong 的 Qwen3.5 0.8B 蒸馏模型
用 mlx-lm 0.30.7 转换
6 位 MLX 权重
在 Python 里加载并生成

注意事项：

• Source model: 卡片指出它是从 Jackrong 的蒸馏版 Qwen3.5 0.8B 模型转换来的。
• Card detail: 卡片没有给出基准测试或训练说明，所以请在你自己的任务上测试。
• License: Apache 2.0，许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。它在你自己的电脑上运行。
• Data it reaches: 你交给它的提示词，以及下载时用到的 Hugging Face。
• Not for: 卡片没有列出禁止的用途。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：752M
• Weights: about 3 GB in U32
• Formats: Safetensors
• 最近 30 天下载：253
• 点赞：4
• 许可证：apache-2.0
• 语言：en
• 基于：Jackrong/Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled
• 标签：safetensors, qwen3_5, image-text-to-text, transformers, unsloth, text-generation, conversational, 6-bit

链接

• 模型：https://huggingface.co/Jackrong/MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit
• 文件：https://huggingface.co/Jackrong/MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jackrong/MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。