Qwen2.5-0.5B-Instruct

Qwen2.5-0.5B-Instruct

作为最小的指令微调 Qwen2.5 模型回答对话提示，约 0.5B 参数。适合想要轻量本地模型来做对话、结构化输出和测试的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen2.5-0.5B-Instruct 是 Qwen 团队 Qwen2.5 系列里 0.5B 的指令微调成员。这个系列包含从 0.5 到 72 亿参数的基础模型和指令微调模型。这一个是因果语言模型，用来回答对话式的提示词。

适合谁：想要小巧、加载快的模型来做实验、原型和低内存机器的开发者和学生。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用小模型做对话功能的原型 | 在换成更大的模型之前先测试聊天流程
教育 | 学生 | 学习语言模型怎么加载和生成 | 在笔记本上运行示例脚本
工具 | 工程师 | 生成 JSON 之类的结构化输出 | 要求以 JSON 形式给出一条记录

如果你需要深度推理或大量编程帮助，模型卡里更大的 Qwen2.5 尺寸可能更合适。

用在哪里：

• 你自己的电脑，用 Python 在 Windows、macOS 或 Linux 上运行
• 使用 Hugging Face transformers 库的程序
• Qwen Chat 和其他基于 Qwen 模型的托管工具

Use case | Who | What they get back
对话回复 | 开发者 | 对对话式提示词的简短回答
多语言对话 | 任何人 | 据模型卡所述，支持超过 29 种语言的回复
结构化输出 | 开发者 | 表格和 JSON 形式的回答

如何设置：

• 带 pip 的 Python
• 较新的 transformers 版本，因为 4.37.0 以下的版本会报 qwen2 的 KeyError
• BF16 权重约 988 MB 磁盘空间，4-bit 约 247 MB（估算值）

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 运行模型卡里的 Python 代码，它会加载分词器和模型。

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-0.5B-Instruct

如何使用：构造一个包含 system 和 user 回合的消息列表，用聊天模板格式化，然后生成。下面的代码完成这些并解码回复。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-0.5B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

示例：你原样运行这段代码，它请模型简短介绍大语言模型。变量 response 里是一段最多 512 个新 token 的介绍。

新手与专家：如果你是新手，先运行上面的代码，只改 prompt 那一行。0.5B 的模型很快但能力有限，所以问题要短而简单。

如果你是专家，模型卡列出 24 层、14 个查询头和 2 个键值头，使用 RoPE、SwiGLU、RMSNorm 和共享的词嵌入。上下文是 32,768 个 token，生成最长 8,192 个 token。

你写好 system 和 user 消息
聊天模板把它们格式化
模型生成新的 token
分词器解码出回复

注意事项：模型卡列出了这个模型的这些规格数字。

Title: 模型卡中 Qwen2.5-0.5B-Instruct 的规格
层数: 24 层
参数量: 0.49 十亿
非嵌入参数量: 0.36 十亿
生成长度: 8192 个 token

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。你需要自备能加载权重的电脑。
• Data it reaches: 下载会访问 Hugging Face。脚本没有说明会访问其他文件或网络。
• Not for: 模型卡没有列出禁止的用途。这么小的模型不太适合困难的推理任务。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：494M
• Weights: about 988 MB in BF16; about 247 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,292,272
• 点赞：743
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-0.5B
• Quantized versions: 389
• Fine-tunes: 1,188
• 标签：transformers, safetensors, qwen2, text-generation, chat, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct
• 文件：https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-0.5B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。