Qwen3-0.6B-GGUF

Qwen3-0.6B-GGUF

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-0.6B-GGUF 是 Qwen 推出的小型聊天模型，采用 GGUF 格式，可以在 llama.cpp 或 ollama 里本地运行。它约有 6 亿参数，采用 q8_0 量化。同一个模型可以在处理难题的思考模式和快速回复的普通模式之间切换。

适合谁：适合想在配置一般的设备上运行语言模型的人，也适合需要小型本地模型来做测试、原型或工具的开发者。如果你想对比思考和非思考两种回复，可以在同一个对话里都试一试。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在原型里运行一个小型本地模型 | 不用在线服务就测试聊天功能
教育 | 学生和老师 | 在笔记本电脑上试验开放语言模型 | 对比思考和非思考的回答
研究 | 爱好者和研究人员 | 在小型模型上尝试采样设置 | 看看存在惩罚如何影响重复
开发者工具 | 工具开发者 | 把小模型接入本地工具 | 在脚本里通过 ollama 调用

如果你在难题上需要最好的回答质量，可以跳过它，因为这是 Qwen3 系列里最小的尺寸。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp，通过它的 llama-cli 工具
• ollama，一条命令就能拉取这个模型
• 任何其他能读取 GGUF 文件的应用

Use case | Who | What they get back
快速本地聊天 | 有笔记本电脑的人 | 不调用在线服务就能得到简短回复
按需推理 | 开发者和学生 | 打开思考模式后得到分步思考
翻译和遵循指令 | 多语言用户 | 如模型卡所述，支持多种语言的回复

如何设置：

• 如果想把文件放在本地，需要 Python 和 pip
• 按官方指南装好的 llama.cpp，或者 ollama
• 需要的内存很少，4-bit 权重估计只有 298 MB

1. 安装 Hugging Face hub 包并下载文件。
2. 也可以跳过下载，直接用下面的命令在 llama.cpp 或 ollama 里运行模型。

pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B-GGUF

如何使用：在 llama.cpp 文件夹里用 llama.cpp 运行模型，或者用 ollama 的一条命令运行。然后在终端里聊天。在消息里加上 /think 或 /no_think，就能切换这一轮的思考模式。

./llama-cli -hf Qwen/Qwen3-0.6B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift

ollama run hf.co/Qwen/Qwen3-0.6B-GGUF:Q8_0

Tool | What it does
llama-cli | 在终端里运行 GGUF 模型，并使用你传入的采样设置
ollama run | 一条命令拉取模型并开始聊天
/think | 为当前和之后的轮次打开思考模式
/no_think | 关闭思考模式，得到快速回复

Title: 建议的采样设置
Setting | Thinking mode | Non-thinking mode
Temperature | 0.6 | 0.7
TopP | 0.95 | 0.8
TopK | 20 | 20
MinP | 0 | 0
PresencePenalty | 1.5 | 1.5

示例：在聊天里你输入 "How many 'r's are in 'strawberries'? /think"。模型会先逐个字母推理这个单词，再回答它含有 3 个字母 r。消息末尾加上 /no_think 就会跳过这段推理。

新手与专家：如果你刚接触，先运行 ollama 命令，打个招呼，再分别用 /think 和 /no_think 问同一个问题，看看区别。第一次运行会下载模型，它很小。

专家会看到一个因果语言模型：28 层、16 个查询头和 8 个键值头（GQA），非嵌入参数约 0.44B，上下文 32,768 词元。模型卡建议在思考模式下不要用贪心解码，量化版本的存在惩罚设在 1.5 左右以减少重复。数值太高可能出现语言混杂。

你启动 llama-cli 或 ollama
GGUF 模型在本地加载
你聊天，并按需加上 /think 或 /no_think
它回复，被要求时先思考

注意事项：

• Quantization: 这个仓库提供 q8_0 版本
• Presence penalty: 可取 0 到 2 之间的值，值太高可能造成语言混杂或让质量略有下降
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号
• Data it reaches: 会从 Hugging Face 下载模型文件，之后在你自己的机器上回答
• Not for: 来源没有列出禁止用途，这么小的模型不太适合处理难题

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：596M
• Weights: about 298 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：215,881
• 点赞：113
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-0.6B
• Quantized versions: 1
• 标签：gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-0.6B-GGUF
• 文件：https://huggingface.co/Qwen/Qwen3-0.6B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-0.6B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。