Qwen3-30B-A3B-GGUF

Qwen3-30B-A3B-GGUF

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-30B-A3B-GGUF 是 Qwen 推出的混合专家聊天模型，采用 GGUF 格式，可以在 llama.cpp 或 ollama 里本地运行。它共有 305 亿参数，但每个词元只激活 33 亿。同一个模型提供思考模式和普通对话模式。

适合谁：适合机器配置较高、能放下较大本地模型的人，也适合想要不依赖在线服务、同时获得较强推理、代码和多语言回答的开发者。智能体开发者可以在两种模式下用它调用工具。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行较大的本地模型做代码和推理 | 要一个函数和讲解
开发者工具 | 智能体开发者 | 让模型调用外部工具 | 接入本地智能体循环
本地化 | 多语言团队 | 用多种语言翻译并遵循指令 | 起草译文供审阅
研究 | 研究人员和爱好者 | 在本地研究混合专家模型 | 用 YaRN 测试长上下文

如果你只有配置较小的笔记本，可以跳过它，因为 4-bit 权重估计也有 15.3 GB。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp，通过它的 llama-cli 工具
• ollama，一条命令就能运行这个模型

Use case | Who | What they get back
本地推理助手 | 开发者和学生 | 一段思考内容，然后是最终答案
代码帮助 | 开发者 | 生成并解释的代码
长文本处理 | 输入很大的团队 | 开启 YaRN 后上下文最长 131,072 词元
多语言回复 | 全球化团队 | 100 多种语言和方言的回答与翻译

如何设置：

• 如果想把文件放在本地，需要 Python 和 pip
• 按官方指南装好的 llama.cpp，或者 ollama
• 为所选文件预留内存，4-bit 版本估计约 15.3 GB

1. 安装 Hugging Face hub 包并下载文件。
2. 也可以跳过下载，直接用下面的命令在 llama.cpp 或 ollama 里运行模型。

pip install -U huggingface_hub
hf download Qwen/Qwen3-30B-A3B-GGUF

如何使用：在 llama.cpp 文件夹里运行它，或者用一条 ollama 命令，然后在终端里聊天。在消息里加上 /think 或 /no_think，就能切换这一轮的思考模式。多轮对话中，模型遵循最近的一条指令。

./llama-cli -hf Qwen/Qwen3-30B-A3B:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift

ollama run hf.co/Qwen/Qwen3-30B-A3B-GGUF:Q8_0

Tool | What it does
llama-cli | 在终端里运行 GGUF 模型，并使用你传入的设置
ollama run | 一条命令拉取模型并开始聊天
/think | 为当前和之后的轮次打开思考模式
/no_think | 关闭思考模式，得到快速回复

要在 llama.cpp 里处理超过 32,768 词元的输入，请加上 YaRN 选项。它们让缩放系数对所有输入保持不变，可能略微影响较短文本，所以只在需要长上下文时才打开。

./llama-cli ... -c 131072 --rope-scaling yarn --rope-scale 4 --yarn-orig-ctx 32768

示例：在聊天里你输入 "How many 'r's are in 'strawberries'? /think"。模型会在思考部分逐个检查字母，然后说明这个单词含有 3 个字母 r。

新手与专家：如果你刚接触，先运行 ollama 命令，用 /no_think 问一个问题得到快速回复，再用 /think 问一遍，看看它的推理过程。请预期会有较大的下载量。

专家会看到一个因果语言模型：48 层、32 个查询头和 4 个键值头（GQA）。它有 128 个专家，每个词元激活 8 个，非嵌入参数约 29.9B。原生上下文为 32,768 词元，使用 YaRN 可达 131,072。

你启动 llama-cli 或 ollama
GGUF 模型在本地加载
128 个专家中有 8 个处理每个词元
你得到回复，被要求时先思考

注意事项：

• Quantization: 共提供五个等级，从 q4_K_M 到 q8_0
• Active size: 每个词元只用到 305 亿参数中的 33 亿
• Context: 原生 32,768 词元，使用 YaRN 可达 131,072
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，只需要内存足够的硬件
• Data it reaches: 会从 Hugging Face 下载模型文件，之后在你自己的机器上回答
• Not for: 来源没有列出禁止用途，YaRN 可能略微影响较短文本的表现

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：30.5B
• Weights: about 15.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：131,118
• 点赞：93
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-30B-A3B
• 标签：gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-30B-A3B-GGUF
• 文件：https://huggingface.co/Qwen/Qwen3-30B-A3B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-30B-A3B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。