Qwen2.5-Coder-0.5B-Instruct

Qwen2.5-Coder-0.5B-Instruct

这是一个仅 494M 参数的对话模型，能写代码、解释代码、修代码，上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen2.5-Coder-0.5B-Instruct 是 Qwen2.5-Coder 系列中最小的对话模型，这个系列是 Qwen 团队的编程模型，取代了旧名称 CodeQwen。它经过指令微调，约有 0.49 亿参数。整个系列有六种规模，从 5 亿到 320 亿参数。

适合谁：适合想要一个小到能在普通硬件上运行的编程助手的开发者，许可证为 Apache 2.0。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 运行一个小型本地助手来生成代码片段 | 让它写一个排序函数
教育 | 学生 | 在笔记本上练习编程问题 | 问一个循环为什么停不下来
工具 | 工具开发者 | 在加载很快的模型上测试代码智能体 | 在换用大模型之前先检查流程
研究 | 机器学习研究人员 | 研究小型编程模型并对它微调 | 用私有代码集做微调

如果你需要最强的编程回答，可以跳过它，这个系列里有更大的型号。

用在哪里：只要能运行 Python 和 transformers 库，它就能用。

• 使用 transformers 库的 Python 脚本
• Windows、macOS 或 Linux，需要 Python 和 Hugging Face 的 hub 工具
• 内存很小的机器，因为 BF16 权重不到 1 GB

Use case | Who | What they get back
写代码 | 开发者 | 聊天回复里的函数或脚本
修代码 | 学生 | 修正后的有问题的代码片段
讲解代码 | 新手 | 对一段代码作用的通俗说明

如何设置：你需要 Python 和较新的 transformers 版本。

• 带 pip 的 Python
• 较新的 transformers 版本，4.37.0 以下的版本会对 qwen2 报 KeyError
• 放下权重所需的内存：BF16 精度约 988 MB，压缩到 4-bit 约 247 MB

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载模型文件。
3. 把 transformers 更新到最新版本。
4. 在 Python 里用下一节的几行代码加载模型。

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-0.5B-Instruct

如何使用：按名称加载分词器和模型，把对话写成系统消息和用户消息的列表，转成提示词后调用 generate。加载代码如下。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-Coder-0.5B-Instruct"

Tool | What it does
AutoModelForCausalLM | 加载模型权重
AutoTokenizer | 加载把文本变成 token 的分词器
apply_chat_template | 把消息列表转成一条提示词字符串
generate | 生成新的 token，用 max_new_tokens 限制长度
batch_decode | 把新生成的 token 转回可读文本

示例：你问："write a quick sort algorithm." 模型会回一小段文字，里面是这个排序的代码，batch_decode 把 token 转回你可以直接打印的普通文本。

新手与专家：如果你是新手，先下载文件，再运行加载代码和一个很短的编程问题，把 max_new_tokens 设小一点。确认能收到回复后，再去试更长的内容。

如果你熟悉这个领域：这是一个因果语言模型，有 24 层，使用分组查询注意力，有 14 个查询头和 2 个键值头。它采用旋转位置编码、SwiGLU 和 RMSNorm，给 QKV 投影加了偏置，输入和输出词嵌入共享权重。约有 0.36 亿参数不在词嵌入里。

用 hf 下载文件
加载分词器和模型
构造系统和用户消息
应用聊天模板
生成并解码回复

注意事项：模型卡给出的上下文长度是 32,768 个 token，没有单独列出生成长度上限。这个系列用 5.5 万亿个 token 的代码、文本和合成数据训练。

Title: 权重大小，单位 MB
BF16: 988 MB
4-bit (estimate): 247 MB

• License: Apache 2.0
• Cost to run: 未提及，只需要你自己的硬件
• Data it reaches: 你下载到电脑上的模型文件，模型卡没有提到其他内容
• Not for: 模型卡没有写明限制，但 0.5B 是六种规模里最小的一个

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：494M
• Weights: about 988 MB in BF16; about 247 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：71,013
• 点赞：96
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-0.5B
• Quantized versions: 101
• Fine-tunes: 116
• 标签：transformers, safetensors, qwen2, text-generation, code, codeqwen, chat, qwen, qwen-coder, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-0.5B-Instruct
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-0.5B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-0.5B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。