Qwen3-4B-Instruct-2507

Qwen3-4B-Instruct-2507

用 4B 模型回答对话提示，不显示思考过程，可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-4B-Instruct-2507 是 Qwen3-4B 跳过思考设置的 2507 更新版，由 Qwen 团队制作。它有 4.0B 参数，直接作答，不写 think 块。模型卡列出了它在指令遵循、推理、数学、科学、编程和工具使用上的提升。

适合谁：想在普通硬件上用小型开源模型做对话、推理和长文档处理的开发者和学生。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 给应用加一个小型助手 | 在产品里回答用户的问题
教育 | 学生 | 练习数学和逻辑类提示词 | 解一道推理谜题
写作 | 内容团队 | 用开源模型起草和编辑文字 | 写一篇短文章的草稿

如果你想要一个能展示推理步骤的模型，可以跳过它，因为它只支持非思考模式。

用在哪里：

• 你自己的电脑，装有 Python 和 transformers 库
• SGLang 或 vLLM，它们可以在兼容 OpenAI 的 API 后面提供服务
• Qwen Chat，模型卡链接的托管聊天服务

Use case | Who | What they get back
对话回答 | 任何人 | 不带 think 块的直接回复
长文档 | 分析师 | 对最多 262,144 个 token 的理解
工具使用 | 开发者 | 函数调用风格的回答

如何设置：

• 带 pip 的 Python
• 较新的 transformers 版本，因为 4.51.0 以下的版本会报 qwen3 的 KeyError
• BF16 权重约 8 GB 磁盘空间，4-bit 约 2 GB（估算值）

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 运行模型卡里的 Python 代码，它会加载分词器和模型并打印回复。

pip install -U huggingface_hub
hf download Qwen/Qwen3-4B-Instruct-2507

如何使用：通过聊天模板发送一条用户消息，生成，再解码新的 token。模型卡里的代码请模型简短介绍大语言模型。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-4B-Instruct-2507"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# prepare the model input
prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=16384
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

content = tokenizer.decode(output_ids, skip_special_tokens=True)

print("content:", content)

示例：你原样运行这段代码。模型写出对大语言模型的简短介绍，脚本在 content 标签后打印出来。

新手与专家：如果你是新手，先运行这段代码，只改 prompt。因为这个模型从不写 think 块，所以你不需要设置思考开关。

如果你是专家，模型卡列出 36 层、32 个查询头和 8 个键值头，原生上下文为 262,144 个 token。部署时它提到 sglang 0.4.6.post1 或更新版本，以及 vllm 0.8.5 或更新版本。

你写一条用户消息
聊天模板格式化它
模型直接作答，不带 think 块
你解码新的 token

注意事项：模型卡的表格在 AIME25 上把这个模型和较早的 Qwen3-4B 非思考模式以及另外两个模型做了对比。

Title: 模型卡中的 AIME25 分数
Qwen3-4B-Instruct-2507: 47.4 分
GPT-4.1-nano: 22.7 分
Qwen3-30B-A3B Non-Thinking: 21.6 分
Qwen3-4B Non-Thinking: 19.1 分

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。你需要能放下权重的硬件。
• Data it reaches: 下载会访问 Hugging Face。代码没有说明会访问其他文件或网络。
• Not for: 逐步推理的过程记录。它直接作答，从不写 think 块，所以想要这些的话请换别的模型。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：4B
• Weights: about 8 GB in BF16; about 2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,592,168
• 点赞：1,053
• 许可证：apache-2.0
• Quantized versions: 379
• Fine-tunes: 2,755
• 标签：transformers, safetensors, qwen3, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507
• 文件：https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-4B-Instruct-2507

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。