Qwen2 0.5B Instruct

Qwen2 0.5B Instruct

Qwen 出品的小型 494M 参数聊天模型，能遵循指令，BF16 权重约 988 MB，通过 Transformers 运行。适合需要轻量模型做测试或简单任务的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen2 0.5B Instruct 是 Qwen 做的 Qwen2 系列里最小的指令微调聊天模型。它有 494M 参数，BF16 下约 988 MB，4 比特估计约 247 MB。它先用大量数据做预训练，再用监督微调和直接偏好优化做后训练。它通过 Hugging Face Transformers 加载，很多人在它的基础上做过开发，已分享的有 95 个量化版本和 602 个微调版本。

适合谁：它适合想用能在普通硬件上运行的小型聊天模型的开发者、学生和爱折腾的人，可以用来测试代码、学习语言模型如何工作或做简单的助手任务。你需要一些 Python。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在用更大的模型之前，先用轻量模型测试聊天功能 | 在笔记本上试一遍回复流程
教育 | 学生和老师 | 学习如何加载语言模型并给它写提示词 | 在课堂上运行卡片里的示例
研究 | 微调研究人员 | 以小型基础模型为起点快速做实验 | 在一个窄任务上训练一个变体
嵌入式工作 | 硬件有限的团队 | 在更大的模型放不下的地方运行紧凑模型 | 在小机器上回答简短问题

需要在困难任务上拿到最高准确度的人应该选更大的模型，因为卡片主要是拿它和其他小模型比较。

用在哪里：

• 装有 Hugging Face Transformers 4.37.0 或更新版本的 Python
• Windows、macOS 或 Linux，有 GPU 或只用 CPU 都行
• 英文聊天和简单的指令任务

Use case | Who | What they get back
聊天和问答 | 开发者 | 对每条消息的文字回复
学习和演示 | 学生 | 加载很快的小模型
微调基础 | 研究人员 | 用于定制变体的紧凑起点

如何设置：

• 你电脑上的 Python
• Transformers 4.37.0 或更新版本，因为旧版本会出现 qwen2 的 KeyError
• 想要更快的回复就用 GPU，不过这个模型很小

1. 安装 Hugging Face hub 软件包。
2. 下载模型文件。
3. 安装较新版本的 Transformers。

pip install -U huggingface_hub

hf download Qwen/Qwen2-0.5B-Instruct

如何使用：加载模型和分词器，构建聊天消息，用聊天模板把它们变成提示词，然后生成并解码回复。卡片把设备设成了 cuda，如果你没有 GPU，请改掉它。

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2-0.5B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

Tool | What it does
AutoModelForCausalLM | 加载模型权重
AutoTokenizer | 把文字变成词元，再变回去
apply_chat_template | 把聊天消息包成模型期望的格式
max_new_tokens | 限制回复的最大长度

示例：你让模型简短介绍一下大语言模型，并用一句系统消息把它设定为乐于助人的助手。代码构建提示词，最多生成 512 个新词元，再把它们解码成一段可以打印的文字回答。

新手与专家：聊天模型读取一列消息，并写出下一条。0.5B 的规模意味着它又快又轻，但比大模型更容易出错。第一步可以先运行卡片里的示例，再试试你自己的问题。

它的架构用 Transformer 设计，带 SwiGLU 激活、注意力 QKV 偏置和分组查询注意力。它有一个改进过的分词器，适用于多种自然语言和代码。卡片自己的测试显示，它比早先的 Qwen1.5 0.5B 聊天模型有明显进步。

你写下聊天消息
聊天模板构建提示词
模型生成词元
词元解码成回复

注意事项：

• License: Apache 2.0。
• Cost to run: 未提及。你需要自己的电脑，不需要付费服务。
• Data it reaches: 它从 Hugging Face Hub 下载文件，然后在你的机器上运行。
• Not for: 困难的推理或编程工作，它在这些方面报告的得分不高。
• 下面的分数是卡片自己的数字。

Title: Qwen2-0.5B-Instruct 基准得分
MMLU: 37.9 score
HumanEval: 17.1 score
GSM8K: 40.1 score
C-Eval: 45.2 score
IFEval: 20.0 score

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：494M
• Weights: about 988 MB in BF16; about 247 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：233,452
• 点赞：216
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2-0.5B
• Quantized versions: 95
• Fine-tunes: 602
• 标签：transformers, safetensors, qwen2, text-generation, chat, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2-0.5B-Instruct
• 文件：https://huggingface.co/Qwen/Qwen2-0.5B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2-0.5B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。