Qwen3-30B-A3B-GGUF

Qwen3-30B-A3B-GGUF

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-30B-A3B-GGUF 收录了阿里巴巴 Qwen3-30B-A3B 语言模型的 GGUF 版本，由 unsloth 制作。Hugging Face 标注它有 30.5B 参数，4-bit 约 15.3 GB（估算）。

这个模型可以在思考模式里一步步推理，也可以在非思考模式里直接回答，模式在聊天过程中选择。模型卡说 unsloth 的 Dynamic 2.0 方法比其他量化方式保持更高的精度，这是制作方自己的说法。

适合谁：想在自己的硬件上运行能力不错的聊天模型、并且想逐个问题决定它要不要先思考的开发者和爱好者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 运行本地助手来回答代码和逻辑问题 | 遇到棘手的 bug 时打开思考
教育 | 学生 | 通过可见的推理过程做数学题 | 让它给出答案背后的步骤
家庭实验室 | 硬件爱好者 | 在自己的机器上测试 30B 级模型 | 在 llama.cpp 里加载 4-bit 文件

想要托管聊天服务的人可以略过它，因为这些文件要你自己运行。

用在哪里：

• llama.cpp
• Ollama
• Open WebUI
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

使用场景 | 谁用 | 得到什么
本地聊天助手 | 开发者 | 你机器上的 30B 级模型给出的回复
逐步推理 | 学生和分析人员 | 先是思考部分，然后是答案
快速的通用回复 | 日常用户 | 关闭思考后的直接回答

如何设置：先确认你有地方放 4-bit 下约 15 GB 的文件，还要有运行它的内存。

• Python 和 pip，用于 Hugging Face 下载工具
• 能读取 GGUF 的运行环境，比如 llama.cpp、Ollama 或 Open WebUI
• 放约 15.3 GB 的 4-bit 权重的内存（估算）

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载文件。
3. 在你的运行环境里加载一个 GGUF 文件。
4. 想要时，在提示词里加上思考开关。

pip install -U huggingface_hub
hf download unsloth/Qwen3-30B-A3B-GGUF

如何使用：像平常一样聊天。在 llama.cpp、Ollama、Open WebUI 等工具里，你可以在用户提示词或系统消息里加上 /think 或 /no_think，逐轮切换思考模式。在多轮对话里，模型遵循最近的一条指令。

工具 | 作用
/think | 为这一轮打开思考模式
/no_think | 为这一轮关闭思考模式
hf download | 从 Hugging Face 获取模型文件

示例：你问模型它是谁，并加上 /no_think，它立刻回复，思考部分是空的。接着你问 strawberries 这个词里字母 r 出现了几次，并加上 /think。它先推理，再给出次数。模型卡展示了这段对话。

> Who are you /no_think

<think>

</think>

I am Qwen, a large-scale language model developed by Alibaba Cloud. [...]

> How many 'r's are in 'strawberries'? /think

<think>
Okay, let's see. The user is asking how many times the letter 'r' appears in the word "strawberries". [...]
</think>

The word strawberries contains 3 instances of the letter r. [...]

新手与专家：可以把它看作一个有两个档位的助手。思考模式会先展示推理过程再回答，非思考模式则直接回答。第一次尝试可以加载 4-bit 文件，用两种开关各问一遍同一个问题。

从底层看，这是 Qwen3-30B-A3B 的量化副本，所属的系列包含稠密模型和混合专家模型。模型卡说这个模型把两种模式放在同一套权重里。代价是 4-bit 文件省内存，但会损失一些精度。

下载 GGUF 文件
在 llama.cpp、Ollama 或 Open WebUI 里加载
在提示词里加上 /think 或 /no_think
阅读回复，带不带推理过程都行

注意事项：模型卡还宣传了 unsloth 的微调笔记本，以及导出到 Ollama、llama.cpp 或 Hugging Face，但这些与运行这些文件是两回事。

• 规模：30.5B 参数，GGUF 格式，语言标注为英语
• 基础：Qwen/Qwen3-30B-A3B
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务，不过你需要能放下权重的硬件
• Data it reaches: 你在本地运行环境里输入的提示词，以及你从 Hugging Face 下载的文件
• Not for: 模型卡除许可证外没有列出其他限制

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：30.5B
• Weights: about 15.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：53,664
• 点赞：294
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3-30B-A3B
• 标签：transformers, gguf, qwen3_moe, text-generation, qwen3, qwen, unsloth, imatrix, conversational

链接

• 模型：https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF
• 文件：https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Qwen3-30B-A3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。