Qwen3-8B-GGUF

Qwen3-8B-GGUF

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-8B-GGUF 把 Qwen 的 8.2B 参数模型 Qwen3-8B 做成了适用于本地运行环境的 GGUF 文件。它是一个文本模型，可以在用于数学、代码和逻辑的思考模式与用于日常聊天的普通模式之间切换。模型卡列出了对 100 多种语言的支持，以及在智能体任务中调用工具的能力。

适合谁：它适合想在自己机器上用一个能力不错的开放模型、并且希望能选文件大小的开发者和爱好者。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 运行用于代码和工具调用的本地助手 | 把它放在笔记本上的编码助手后面
教育 | 学生 | 打开思考模式练习数学和逻辑题 | 一步一步解一道谜题
写作和翻译 | 写作者 | 用多种语言起草和翻译文字 | 翻译一条简短的备注
AI 智能体 | 智能体开发者 | 让本地模型调用外部工具 | 把一个工具接入小型智能体

如果你想要原始的全精度权重，可以跳过它，因为这个仓库只有量化文件。

用在哪里：

• 终端里的 llama.cpp
• Ollama，只需一条命令
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 你自己的机器，运行时不需要账号

用例 | 谁用 | 得到什么
本地聊天 | 任何人 | 你电脑上的模型给出的文字回复
推理任务 | 学生和开发者 | 思考模式下一步一步的数学、代码和逻辑回答
翻译 | 写作者 | 在多种语言之间转换的文字

如何设置：你需要 Python 来使用下载工具，还需要 llama.cpp 或 Ollama 来运行文件。模型卡说要按官方指南安装 llama.cpp，并在那个文件夹里运行它的命令。

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包
• 按指南构建的 llama.cpp，或者 Ollama
• 为你选的文件留出内存，4-bit 下估计约 4.1 GB

1. 安装 huggingface_hub。
2. 下载模型文件。
3. 用模型卡里的命令，通过 llama.cpp 或 Ollama 运行一个文件。

pip install -U huggingface_hub
hf download Qwen/Qwen3-8B-GGUF

如何使用：在 llama.cpp 文件夹里，一条命令就能直接从仓库加载 Q8_0 文件，并在终端里开始聊天。模型卡里有一条对应的 Ollama 单行命令。你可以在提示词或系统消息里加上 /think 或 /no_think，多轮对话里模型会遵循最近的一条。

./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift

处理长输入时，模型卡在同一条命令里加上了 YaRN 缩放参数。

./llama-cli ... -c 131072 --rope-scaling yarn --rope-scale 4 --yarn-orig-ctx 32768

工具 | 作用
llama-cli | 加载文件并在终端里聊天
ollama run | 用 Ollama 拉取并运行文件
/think | 为这一轮打开思考
/no_think | 为这一轮关闭思考

示例：你用 /no_think 问它是谁，得到一句简短直接的回复。然后你用 /think 问 strawberries 里有几个字母 r。模型先推理，再回答 3，和模型卡自己的示例一样。

新手与专家：如果你刚接触这类模型，GGUF 文件就是一个可以直接运行的模型副本，你自己的电脑就能加载。第一次可以先用上面的 llama-cli 命令，然后问一个简短的问题。

对熟悉这个领域的人来说，Qwen3-8B 有 36 层，使用分组查询注意力，有 32 个查询头和 8 个键值头。模型卡说静态 YaRN 可能会影响短文本，所以只在需要长输入时才打开。

Title: 以词元计的上下文长度
Native: 32768 tokens
With YaRN: 131072 tokens

你下载一个量化的 GGUF 文件
llama.cpp 或 Ollama 加载它
你发送提示词，带或不带 /think
模型回复，思考模式下先推理

注意事项：这些文件有五个量化等级，从 q4_K_M 到 q8_0，你可以在更小的体积和更好的质量之间选择。

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你输入的提示词和下载的文件
• Not for: 需要原始未量化权重的人，那些权重在另一个仓库里

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：8.2B
• Weights: about 4.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：840,011
• 点赞：384
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-8B
• 标签：gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-8B-GGUF
• 文件：https://huggingface.co/Qwen/Qwen3-8B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-8B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。