Qwen3-4B-GGUF

Qwen3-4B-GGUF

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-4B-GGUF 是 Qwen 推出的 40 亿参数聊天模型，打包成 GGUF 格式，方便在 llama.cpp 或 ollama 里本地使用。它有处理较难推理的思考模式，也有用于快速回复的普通模式，你可以在不同消息之间随时切换。

适合谁：适合想要一个中等规模本地模型、能在普通笔记本或台式机上运行的开发者和爱好者。也适合想做小型智能体、翻译助手或写作助手、又不想依赖在线服务的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行本地模型做聊天和代码帮助 | 要一个简短函数并阅读
开发者工具 | 智能体开发者 | 让本地模型调用外部工具 | 在一台机器上做智能体原型
本地化 | 多语言团队 | 用多种语言翻译并遵循指令 | 起草译文供人工检查
写作 | 作者和角色扮演爱好者 | 使用适合自然多轮对话的模型 | 离线进行一段长对话

如果你需要在极难的问题上得到最佳回答，可以跳过它，因为还有更大的 Qwen3 模型。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp，通过它的 llama-cli 工具
• ollama，一条命令就能启动这个模型

Use case | Who | What they get back
本地聊天助手 | 有电脑的任何人 | 在你自己机器上生成的回复
按需推理 | 学生和开发者 | 一段思考内容，然后是最终答案
较长文档 | 输入很大的团队 | 开启 YaRN 后上下文最长 131,072 词元
翻译 | 多语言用户 | 100 多种语言和方言的文本

如何设置：

• 如果想把文件放在本地，需要 Python 和 pip
• 按官方指南装好的 llama.cpp，或者 ollama
• 为所选文件预留内存，4-bit 版本估计约 2 GB

1. 安装 Hugging Face hub 包并下载文件。
2. 也可以跳过下载，直接用下面的命令在 llama.cpp 或 ollama 里运行模型。

pip install -U huggingface_hub
hf download Qwen/Qwen3-4B-GGUF

如何使用：在 llama.cpp 文件夹里启动模型，或者用一条 ollama 命令，然后在终端里聊天。在消息里写上 /think 或 /no_think，就能设定这一轮的思考模式。多轮对话中以最新的指令为准。

./llama-cli -hf Qwen/Qwen3-4B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift

ollama run hf.co/Qwen/Qwen3-4B-GGUF:Q8_0

Tool | What it does
llama-cli | 在终端里运行 GGUF 模型，并使用你传入的设置
ollama run | 一条命令拉取模型并开始聊天
/think | 为当前和之后的轮次打开思考模式
/no_think | 关闭思考模式，得到快速回复

要在 llama.cpp 里处理超过 32,768 词元的输入，请加上 YaRN 选项。它们对所有输入使用同一个固定的缩放系数，可能削弱较短文本的效果，所以只在长上下文时使用。

./llama-cli ... -c 131072 --rope-scaling yarn --rope-scale 4 --yarn-orig-ctx 32768

示例：你输入 "Who are you /no_think"，模型立刻回答它是 Qwen，一个来自阿里云的语言模型，思考部分为空。接着你问 "How many 'r's are in 'strawberries'? /think"，它先推理，再说出这个单词有 3 个。

新手与专家：如果你刚接触，先运行 ollama 命令，把同一个问题问两遍，一次加 /no_think，一次加 /think。第二次的回复会先展示推理过程，所以花的时间更长。

专家会看到一个因果语言模型：36 层、32 个查询头和 8 个键值头（GQA），非嵌入参数约 3.6B，原生上下文 32,768 词元。模型卡建议对量化版本把存在惩罚设为 1.5 以减少重复，并提醒在思考模式下不要用贪心解码。

你启动 llama-cli 或 ollama
GGUF 模型在本地加载
你聊天，并按需加上 /think 或 /no_think
它回复，被要求时先思考

注意事项：

• Quantization: 共提供五个等级，从 q4_K_M 到 q8_0
• Context: 原生 32,768 词元，使用 YaRN 可达 131,072
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，只需要内存足够的硬件
• Data it reaches: 会从 Hugging Face 下载模型文件，之后在你自己的机器上回答
• Not for: 来源没有列出禁止用途，YaRN 可能略微影响较短文本的表现

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：4B
• Weights: about 2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：745,360
• 点赞：224
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-4B
• Quantized versions: 1
• 标签：gguf, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-4B-GGUF
• 文件：https://huggingface.co/Qwen/Qwen3-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。