Qwen3-0.6B

Qwen3-0.6B

最小的 Qwen3 对话模型，基于 Qwen3-0.6B-Base 构建。它能在思考模式和更快的普通模式之间切换，支持 100 多种语言和 32,768 token 的上下文，在普通硬件上也能运行。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-0.6B 是 Qwen 团队 Qwen3 家族里最小的语言模型，由 Qwen3-0.6B-Base 微调而来。卡片列出 0.6B 参数（不含嵌入则为 0.44B），共 28 层，上下文 32,768 token。同一个模型既可以用思考模式处理数学、代码和逻辑，也可以用普通模式做日常对话。它还支持调用外部工具，以及 100 多种语言和方言。

适合谁：想要一个小巧免费的模型，用于本地实验、简单对话功能、快速测试流程，或作为自己微调的基础的开发者和学习者。

Industry | Who uses it | How they use it | Example
软件开发 | 开发者 | 在笔记本上运行小型对话模型 | 一个解释代码片段的本地助手
教育 | 学生和老师 | 学习语言模型怎么工作 | 观察思考模式如何解一道加法题
产品测试 | 工程师 | 开发时代替较大的模型 | 不需要大 GPU 的流程测试
多语言应用 | 全球化团队 | 用多种语言回答简短的问题 | 一个简单的翻译助手

如果你需要在难题上得到顶尖的回答质量，可以跳过它，因为 0.6B 模型很小，而 Qwen3 系列还有更大的成员。

用在哪里：

• 用 Python 和 Transformers 库
• SGLang 或 vLLM，可以提供 OpenAI 兼容的接口
• 卡片说支持 Qwen3 的本地应用，比如 Ollama、LM Studio、MLX-LM、llama.cpp 和 KTransformers

Use case | Who | What they get back
对话 | 开发者 | 普通模式下的简短文字回复
推理 | 学习者 | 思考模式下先给出推理过程，再给出答案
工具调用 | 智能体构建者 | 两种模式下都能调用外部工具

如何设置：

• Python 和 pip
• BF16 约需 1.5 GB 磁盘空间，4-bit 约 376 MB（估算值）
• 较新的 Transformers 版本，因为较旧的版本会报 qwen3 的 KeyError

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 用 Transformers 加载模型，或用 vLLM 提供服务。

pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B

如何使用：在 Python 里加载分词器和模型，用聊天模板把你的消息变成提示词，再调用 generate。模板里有一个 enable_thinking 开关，默认开启，用来选择思考模式或普通模式。在思考模式下，输出先是推理部分，你可以把它和最终回答分开。要提供服务，就像下面这样启动 vLLM。

vllm serve Qwen/Qwen3-0.6B --enable-reasoning --reasoning-parser deepseek_r1

示例：你在开启思考的情况下，请它简短介绍大语言模型。模型先写出推理，再写出介绍，你的代码可以把这两部分分开打印。

新手与专家：如果你是新手，先试普通模式拿快速回答，再为数学或逻辑问题打开思考。如果模型无休止地重复，卡片建议使用它推荐的采样设置，并把存在惩罚设为 1.5。

卡片给出它的分组查询注意力有 16 个查询头和 8 个键值头。Hugging Face 的记录显示总共有 752M 参数，比卡片标题里的 0.6B 略多。它列出了别人做的 543 个量化版本和 1,457 个微调版本。

你发送聊天消息
模板选择思考或普通模式
若开启思考，模型先写推理部分
然后它写出最终回答

注意事项：

• 模式：思考默认开启，可以按每次请求关闭
• 重复：可能出现无休止的重复，卡片建议把存在惩罚设为 1.5

Title: Qwen3-0.6B 的参数量，单位十亿
All parameters: 0.6 billion
Without embeddings: 0.44 billion

• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务，只需要你自己的硬件
• Data it reaches: 下载会取回模型文件，模型会读取你给它的文字
• Not for: 需要更大模型的高难度推理或专家级工作

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：752M
• Weights: about 1.5 GB in BF16; about 376 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：19,718,599
• 点赞：1,894
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-0.6B-Base
• Quantized versions: 550
• Fine-tunes: 1,464
• 标签：transformers, safetensors, qwen3, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-0.6B
• 文件：https://huggingface.co/Qwen/Qwen3-0.6B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。