Qwen3-8B-MLX-bf16

Qwen3-8B-MLX-bf16

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-8B-MLX-bf16 是 8.2B 参数的 Qwen3 语言模型，以 BF16 格式存放，供 mlx 库使用。它根据提示词写文字，能处理推理、指令、翻译和工具调用。同一个模型可以用思考模式处理逻辑、数学和代码，也可以用非思考模式做日常对话。

适合谁：想通过 mlx_lm 在 Python 里调用中等规模语言模型的开发者最适合它。写作者、翻译者和智能体开发者也能用，因为模型卡提到了创意写作、100 多种语言和工具集成。

行业 | 使用者 | 使用方式 | 例子
软件 | 开发者 | 通过 mlx_lm 在 Python 中运行聊天模型 | 在限定词元数下为一条提示词生成回复
语言服务 | 翻译者 | 遵循指令并在多种语言之间翻译 | 在两种语言之间翻译一小段文字
创意工作 | 写作者 | 起草故事、角色扮演和多轮对话 | 以某个角色的口吻写一个场景
智能体 | 智能体开发者 | 在任一模式下把模型连接到外部工具 | 让智能体为一项任务选择工具

如果你的电脑放不下约 16.4 GB 的权重，可以跳过这个 BF16 副本。

用在哪里：在 Windows、macOS 或 Linux 上通过 Python 使用它。

• 使用 mlx_lm 包的 Python 脚本
• 使用 transformers 库的 Python 脚本
• 用 SGLang 或 vLLM 搭建的 API，其中也有思考开关

用例 | 谁用 | 得到什么
聊天和问答 | 开发者 | 一段文字回复，答案前可以有可选的思考块
翻译 | 翻译者 | 在多种语言和方言之间转换的文字
会用工具的智能体 | 智能体开发者 | 在思考或非思考模式下都能调用外部工具的模型输出

如何设置：你需要 Python 和两个包的较新版本。

• Windows、macOS 或 Linux 上的 Python
• transformers 4.52.4 或更高版本，以及 mlx_lm 0.25.2 或更高版本
• 放权重的空间，BF16 约 16.4 GB，4-bit 约 4.1 GB，均为估算

1. 一起安装或升级 transformers 和 mlx_lm。
2. 也可以先用 Hugging Face hub 包下载模型文件。
3. 运行下一节中的 Python 代码。

pip install --upgrade transformers mlx_lm

pip install -U huggingface_hub
hf download Qwen/Qwen3-8B-MLX-bf16

如何使用：加载模型和分词器，用聊天模板包装你的消息，再调用 generate。这段代码会打印回复。

from mlx_lm import load, generate

model, tokenizer = load("Qwen/Qwen3-8B-MLX-bf16")
prompt = "Hello, please introduce yourself and tell me what you can do."

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages,
        add_generation_prompt=True
    )

response = generate(
    model,
    tokenizer,
    prompt=prompt,
    verbose=True,
    max_tokens=1024
)

print(response)

Tool | What it does
load | 根据模型名加载模型和分词器
generate | 根据提示词生成回复，最多到词元上限
apply_chat_template | 把你的消息转成聊天提示词，并可以打开或关闭思考

思考默认是开启的。模型卡展示了如何明确设置它，这时回复里会先有一个思考块，然后才是最终答案。

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True  # True is the default value for enable_thinking
)

在思考模式下，模型卡建议温度 0.6、top-p 0.95、top-k 20、min-p 0，并提醒不要使用贪心解码。

示例：你让模型做自我介绍，并说说它能做什么。脚本会打印最多 1024 个词元的回复。开启思考时，回复先出现一个思考块，然后给出答案。

新手与专家：这是一个用短 Python 脚本运行的聊天模型。第一次可以先安装那两个包，原样运行上面的代码，再读它打印的回复。

它的底层是一个稠密的因果语言模型，有 36 层和分组查询注意力，使用 32 个查询头和 8 个键值头。它的上下文原生为 32,768 个词元，用 YaRN 时为 131,072。思考模式会在给出答案前花费额外的输出来推理。

安装 transformers 和 mlx_lm
加载模型和分词器
用聊天模板包装你的消息
生成到词元上限
读取回复，思考块在前

注意事项：较旧的 transformers 版本可能会因 qwen3 报 KeyError。其他人发布的版本里列出了一个量化副本，没有微调副本。

Title: 上下文长度
原生: 32,768 tokens
使用 YaRN: 131,072 tokens

• License: Apache 2.0
• Cost to run: 未提到费用。权重 BF16 约 16.4 GB，4-bit 约 4.1 GB，均为估算
• Data it reaches: 你的提示词和来自 Hugging Face 的模型文件。来源没有提到账号或网络服务
• Not for: 思考模式下的贪心解码，模型卡称它会导致较差的输出和无休止的重复

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：8.2B
• Weights: about 16.4 GB in BF16; about 4.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：697
• 点赞：19
• 许可证：apache-2.0
• Quantized versions: 1
• 标签：safetensors, qwen3, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-8B-MLX-bf16
• 文件：https://huggingface.co/Qwen/Qwen3-8B-MLX-bf16/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-8B-MLX-bf16

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。