Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct

这是一个 7.6B 参数的指令微调模型，能聊天、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合需要在单台电脑上运行小型开源模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen2.5-7B-Instruct 是 Qwen 团队 Qwen2.5 系列中的 7B 对话模型，经过指令微调，擅长按要求办事。它基于 Qwen2.5-7B 基座，约有 76 亿参数。它能处理编程、数学、长文本、表格和 JSON 这类结构化输出，支持 29 种以上语言。

适合谁：适合想要一个小到能放进单台电脑的开源模型的开发者和小团队，许可证为 Apache 2.0。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行，用来写代码并输出 JSON 格式的回复 | 让它写一个函数，得到可用的代码
客户支持 | 支持团队 | 驱动遵循固定系统提示词的聊天机器人 | 一个始终用同一种语气回答的机器人
数据工作 | 分析师 | 粘贴一张表格，针对它提问 | 把表格转成 JSON 列表
教育 | 老师和学生 | 练习数学题和多语言问答 | 用法语讲解一个数学步骤

如果你只想用现成的在线聊天应用，或者你的电脑连 4-bit 估算所需的约 3.8 GB 都放不下，可以跳过它。

用在哪里：只要能运行 Python 和 transformers 库，它就能用。

• 使用 transformers 库的 Python 脚本
• vLLM 服务器，模型卡推荐用它来部署
• Windows、macOS 或 Linux，需要 Python 和 Hugging Face 的 hub 工具
• 需要固定系统提示词和设定角色的聊天机器人

Use case | Who | What they get back
代码帮助 | 开发者 | 聊天回复里写好的函数和修复方案
结构化输出 | 数据团队 | 格式为 JSON 的回复，可直接交给下一个程序
长文档 | 研究人员 | 开启 YaRN 后，可处理超过默认 32,768 个 token 的输入并给出回答
多语言聊天 | 支持团队 | 用中文、英语、德语、日语等语言给出的回复

如何设置：你需要 Python，并且有足够的内存放下模型权重。

• 带 pip 的 Python
• 较新的 transformers 版本，4.37.0 以下的版本会对 qwen2 报 KeyError
• 放下权重所需的空闲内存：BF16 精度约 15.2 GB，压缩到 4-bit 约 3.8 GB

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载模型文件。
3. 把 transformers 更新到最新版本。
4. 在 Python 里用下一节的几行代码加载模型。

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-7B-Instruct

如何使用：按名称加载分词器和模型，把对话写成系统消息和用户消息的列表，转成提示词后调用 generate。加载代码如下。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-7B-Instruct"

Tool | What it does
AutoModelForCausalLM | 加载模型权重
AutoTokenizer | 加载把文本变成 token 的分词器
apply_chat_template | 把消息列表转成一条提示词字符串
generate | 生成新的 token，用 max_new_tokens 限制长度
batch_decode | 把新生成的 token 转回可读文本

示例：你问："List three differences between a list and a tuple in Python." 模型会回一小段文字，batch_decode 把 token 转回你可以直接打印的普通文本。

新手与专家：如果你是新手，先下载文件，再运行加载代码和一个很短的问题，把 max_new_tokens 设小一点。确认能收到回复后，再去试更长的内容。

如果你熟悉这个领域：这是一个因果语言模型，有 28 层，使用分组查询注意力（28 个查询头，4 个键值头），以及 RoPE、SwiGLU 和 RMSNorm。自带的 config.json 按 32,768 个 token 设置。输入更长时，要加一条 factor 为 4.0 的 YaRN rope_scaling 配置。vLLM 以静态方式应用这个缩放，所以可能拖累较短的文本。

用 hf 下载文件
加载分词器和模型
构造系统和用户消息
应用聊天模板
生成并解码回复

注意事项：默认配置覆盖 32,768 个 token。模型卡说它支持最长 131,072 个 token 的上下文，单次最多生成 8192 个 token。

Title: 权重大小，单位 GB
BF16: 15.2 GB
4-bit (estimate): 3.8 GB

• License: Apache 2.0
• Cost to run: 未提及，只需要你自己的硬件
• Data it reaches: 你下载到电脑上的模型文件，模型卡没有提到其他内容
• Not for: 开启 YaRN 的短文本场景，因为静态缩放在那里可能降低质量

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.6B
• Weights: about 15.2 GB in BF16; about 3.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：6,364,238
• 点赞：2,494
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-7B
• Quantized versions: 450
• Fine-tunes: 3,264
• 标签：transformers, safetensors, qwen2, text-generation, chat, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-7B-Instruct
• 文件：https://huggingface.co/Qwen/Qwen2.5-7B-Instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-7B-Instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。