Qwen3-8B

Qwen3-8B

Qwen 的 8.2B 开放语言模型，可在处理难题的思考模式和日常聊天的普通模式之间切换，支持工具调用和 100 多种语言。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3-8B 是 Qwen 的 8.2B 语言模型，属于 Qwen3 这一代。一个模型有两种模式。思考模式一步步处理逻辑、数学和代码，非思考模式更直接地回答一般问题。

两种模式下它都能调用外部工具，覆盖 100 多种语言和方言。上下文长度原生是 32,768 个词元，用 YaRN 可达 131,072。

适合谁：它适合想自己运行一个中等规模开放模型的开发者和研究者，用于推理任务、聊天、翻译或智能体工作。16.4 GB 的 BF16 文件需要一块像样的 GPU。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 加入自托管模型做编程和推理 | 解释一段堆栈跟踪
客户服务 | 支持团队 | 在自己的服务器上运行多语言聊天 | 用多种语言回复客户
研究 | 机器学习研究者 | 研究或微调一个被广泛使用的开放模型 | 对比思考和非思考模式的回答
智能体 | 工具开发者 | 让模型调用外部工具 | 一个根据请求选择工具的助手

如果你想用托管的聊天服务，从不自己运行模型，可以跳过它。

用在哪里：

• 装有 transformers 库的 Python
• SGLang 或 vLLM，用来提供兼容 OpenAI 的接口
• Ollama、LMStudio 和 llama.cpp 等桌面工具，模型卡列出它们支持 Qwen3
• MLX-LM 和 KTransformers，模型卡也列出了它们
• Windows、macOS 或 Linux，下载步骤需要 Python

用例 | 谁用 | 得到什么
困难的推理问题 | 开发者和学生 | 先是一段思考，再是回答
日常聊天 | 产品团队 | 非思考模式下的直接回复
翻译和多语言工作 | 全球化团队 | 100 多种语言里的许多种输出

如何设置：先准备好下面这些东西。

• Python 和 pip
• 较新的 transformers 版本，因为低于 4.51.0 的版本会对 qwen3 这个名称报错
• 约 16.4 GB BF16 权重的内存，按记录的估算，4 位约 4.1 GB

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 用 transformers 加载模型，或用 SGLang 或 vLLM 提供服务。

pip install -U huggingface_hub
hf download Qwen/Qwen3-8B

如何使用：在 Python 里，你加载分词器和模型，构建一条聊天消息，再调用 generate。聊天模板里的 enable_thinking 标志决定模式，默认是开。模型卡接着演示了如何把思考文字和最终回答分开。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-8B"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

要提供服务的话，模型卡点名了 0.4.6.post1 或更新版本的 SGLang，或 0.8.5 或更新版本的 vLLM。

python -m sglang.launch_server --model-path Qwen/Qwen3-8B --reasoning-parser qwen3

vllm serve Qwen/Qwen3-8B --enable-reasoning --reasoning-parser deepseek_r1

示例：你在打开思考的情况下问 "Write a short note on what a context window is"。模型先产生推理，然后给出最终回复。模型卡里的代码把两者分开，方便你分别打印。

新手与专家：先在开启思考的情况下问一个简短的问题，读一读回复的两个部分。然后把标志关掉，得到更快更平实的回答。

模型有 36 层，使用分组查询注意力，查询用 32 个头，键和值用 8 个头。8.2B 参数里有 6.95B 是非嵌入参数。对于长输入，模型卡指向 YaRN，它把上下文从 32,768 拉长到 131,072 个词元。

Title: Qwen3-8B 的上下文长度
原生上下文: 32768 tokens
使用 YaRN: 131072 tokens

下载或加载模型
选择思考或非思考模式
发送聊天消息
读取推理和回复

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，但你需要能放下约 16.4 GB BF16 权重的硬件
• Data it reaches: 它把文件从 Hugging Face 下载到你的电脑上

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：8.2B
• Weights: about 16.4 GB in BF16; about 4.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：6,269,141
• 点赞：2,184
• 许可证：apache-2.0
• 基于：Qwen/Qwen3-8B-Base
• Quantized versions: 520
• Fine-tunes: 2,330
• 标签：transformers, safetensors, qwen3, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen3-8B
• 文件：https://huggingface.co/Qwen/Qwen3-8B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen3-8B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。