Qwen3-1.7B-GGUF

Qwen3-1.7B-GGUF

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 GGUF 格式、q8_0 量化的 Qwen3-1.7B，供 llama.cpp 使用。Qwen3 是 Qwen 的最新一代，这是其中的小型 1.7B 成员。

它的主要特点是在一个模型里可以选两种模式。思考模式一步一步处理逻辑、数学和代码，非思考模式快速回答一般聊天。模型卡还列出支持 100 多种语言和方言，以及工具使用。

适合谁：它适合想在自己机器上用小助手、并能逐条消息决定是否开启深度推理的人。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 离线和小模型聊天 | 问一些快速问题
软件 | 开发者 | 在本地工具里运行轻量模型 | 起草一个短脚本
教育 | 学生 | 借助可见的推理练习数学和逻辑 | 解一道计数谜题
本地化 | 译者 | 试用多语言翻译 | 翻译一条短消息

如果你需要最强的回答，可以跳过它，因为还有更大的 Qwen3 模型。

用在哪里：这个文件在 Windows、macOS 或 Linux 上的 llama.cpp 里运行。模型卡还展示了用 ollama 运行的方法。

• llama.cpp 的 llama-cli
• ollama，一条命令
• 笔记本 CPU，或卸载了部分层的 GPU

用途 | 谁 | 得到什么
快速聊天 | 普通用户 | 非思考模式下的快速回复
推理任务 | 学生 | 可见的思考过程，再给出答案
多语言帮助 | 译者 | 多种语言的回复和翻译

如何设置：你需要带 pip 的 Python 来下载文件，还需要能用的 llama.cpp。模型卡说要克隆 llama.cpp 并按它的指南安装。

• 带 pip 的 Python
• 已安装的 llama.cpp
• q8_0 文件约需 1.8 GB 磁盘空间，由模型大小估算

1. 安装 Hugging Face hub 包。
2. 下载 GGUF 文件。
3. 在 llama.cpp 文件夹里用 llama-cli 运行它。

pip install -U huggingface_hub
hf download Qwen/Qwen3-1.7B-GGUF

如何使用：你用模型卡推荐的采样设置启动 llama-cli，然后聊天。在消息里加 /think 或 /no_think，就能为那一轮切换模式。

./llama-cli -hf Qwen/Qwen3-1.7B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift

开关 | 作用
/think | 为那条消息开启思考模式
/no_think | 为那条消息关闭思考模式

示例：你问一道计数谜题，并在末尾加上 /think。模型先写出思考过程，再给出答案。问简单问题时你加 /no_think，就得到简短的回复。

新手与专家：如果你是新手，运行命令并问一个简单的问题，再用 /think 问一道谜题，比较两次回复。

如果你懂这个领域，模型有 28 层，采用 16 个查询头和 8 个键值头的分组查询注意力。上下文为 32,768 个 token。模型卡建议在思考模式下不要用贪心解码，因为它可能导致无休止的重复。

用 GGUF 文件启动 llama-cli
发送一条消息
加上 /think 或 /no_think
读取回复

注意事项：模型卡建议对量化模型把 presence penalty 设为 1.5，以减少重复文字。更高的值可能混杂语言，并略微降低质量。

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你输入的消息
• Not for: 思考模式下的贪心解码，模型卡对此有警告

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：1.7B
• Weights: about 860 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：177,416
• 点赞：98
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-1.7B
• Quantized versions: 2
• 标签：gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-1.7B-GGUF
• 文件：https://huggingface.co/Qwen/Qwen3-1.7B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-1.7B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。