Qwen3-4B

Qwen3-4B

用 4B 的 Qwen3 模型生成文本，可在处理难题的思考模式和快速聊天的普通模式之间切换。适合想用小型聊天模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-4B 是 Qwen3 系列中 4B 参数的文本生成模型，基于 Qwen3-4B-Base 构建。一个模型涵盖两种模式：用于数学、代码和逻辑的思考模式，以及用于日常对话的非思考模式。它还能配合外部工具，支持 100 多种语言和方言。

适合谁：想用小型开源模型做聊天、推理或调用工具的智能体的开发者和团队，可以自己托管，也可以用本地应用在笔记本上运行。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在自己的应用里运行小型聊天和推理模型 | 把它放在兼容 OpenAI 的端点后面
本地化 | 译者 | 处理多种语言的指令和翻译 | 请它翻译一条简短的备注
智能体 | 智能体开发者 | 让模型调用外部工具 | 用思考模式完成多步骤任务

如果你需要参数量更大的模型，可以跳过这个。

用在哪里：

• 使用 transformers 库的 Python
• SGLang 或 vLLM，它们提供兼容 OpenAI 的端点
• 本地应用，比如 Ollama 和 LMStudio

Use case | Who | What they get back
思考模式下的推理 | 学生和开发者 | 对数学、代码和逻辑问题的分步推理
非思考模式下的快速聊天 | 应用开发者 | 快速的通用回复
创意写作和角色扮演 | 写作者 | 自然的多轮对话

如何设置：

• 带 pip 的 Python
• 较新的 transformers 版本，因为低于 4.51.0 的版本会报 qwen3 的 KeyError
• BF16 权重约 8 GB，按 Hugging Face 的估算，4 位约 2 GB

1. 安装 Hugging Face hub 包。
2. 下载模型文件。
3. 用 transformers 加载模型，或用 SGLang 或 vLLM 来提供服务。

pip install -U huggingface_hub
hf download Qwen/Qwen3-4B

要把它作为端点提供服务，卡片给出了这些命令：

python -m sglang.launch_server --model-path Qwen/Qwen3-4B --reasoning-parser qwen3

vllm serve Qwen/Qwen3-4B --enable-reasoning --reasoning-parser deepseek_r1

如何使用：加载分词器和模型，构建聊天消息列表，再套用聊天模板。enable_thinking 参数用来在思考和非思考模式之间切换，默认值为 True。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-4B"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

Tool | What it does
AutoTokenizer | 加载分词器并套用聊天模板
AutoModelForCausalLM | 加载模型并生成回复
enable_thinking | 打开或关闭思考模式

示例：你发一条消息，请它简短介绍大语言模型。在思考模式下，回复先给出推理过程，再给出答案，你可以把这两部分分开解析。

新手与专家：如果你是新手，用上面的代码加载模型，发一个简短的问题。遇到难题就保持思考模式开启，只想快速得到答案时就关掉。

模型有 36 层，使用分组查询注意力，查询 32 个头，键和值 8 个头。上下文原生为 32,768 个词元，用 YaRN 可达 131,072 个。如果出现无休止的重复，卡片建议使用它给出的采样设置，并把 presence_penalty 设为 1.5。

下载文件或用 transformers 加载
构建消息并套用聊天模板
选择思考或非思考模式
生成并读取回复

注意事项：

• 上下文：原生 32,768 个词元，用 YaRN 为 131,072 个
• 使用最新的 transformers 版本，以避免 qwen3 报错
• License: Apache 2.0
• Cost to run: 没有列出费用，硬件由你自己准备
• Data it reaches: 你的提示词，以及从 Hugging Face 下载的文件
• Not for: 低于 4.51.0 的 transformers 版本

Title: Context length in tokens
Native: 32768 词元
With YaRN: 131072 词元

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：4B
• Weights: about 8 GB in BF16; about 2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,186,531
• 点赞：798
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-4B-Base
• Quantized versions: 382
• Fine-tunes: 1,262
• 标签：transformers, safetensors, qwen3, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-4B
• 文件：https://huggingface.co/Qwen/Qwen3-4B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-4B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。