Qwen2.5-7B-Instruct-AWQ

Qwen2.5-7B-Instruct-AWQ

Qwen2.5-7B-Instruct 的 4 位 AWQ 版本，一个 7.6B 的聊天模型，能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是用 AWQ 压缩过的 Qwen2.5-7B-Instruct，AWQ 是一种 4 位量化方法。底下的模型是 Qwen 团队 76.1 亿参数的聊天模型，有 28 层，28 个查询头共用 4 个键值头。它经过调优，能遵循指令、写长回复、读表格并用 JSON 回答。打开长文本支持后，它最多读 131,072 个词元，每次回复最多写 8,192 个词元。模型页面称它支持 29 种以上语言。有一点要注意：说明页上有一行把它称作 72B 模型，但它的数字描述的是 7B 的那个。

适合谁：想要一个扎实的开源聊天模型，并且希望它能装进比全精度版本所需更小的 GPU 的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 应用开发者 | 在单 GPU 服务器上运行聊天助手 | 在你自己的应用里回答客服问题
数据工作 | 分析师 | 把文本和表格变成结构化输出 | 返回一份报告的 JSON 摘要
教育 | 语言团队 | 提供多语言助手 | 用学生写的语言来回答

需要最高准确度的人可以跳过，因为量化到 4 位是用一部分精度换体积。

用在哪里：

• Python 里的 transformers 库，使用 Safetensors 权重。
• vLLM，说明页推荐用它做部署和处理长文本。
• Windows、macOS 或 Linux：下载步骤在这三个系统上都能用 Python 完成。

使用场景 | 谁用 | 得到什么
聊天助手 | 应用开发者 | 遵循系统提示词的回复
结构化输出 | 数据团队 | 来自文本或表格的 JSON 回答
低内存部署 | 平台团队 | 4 位形式的 7B 模型

如何设置：

先准备好：

• Python 和 pip。
• 较新的 transformers。低于 4.37.0 的版本会因为 qwen2 报 KeyError 而失败。
• GPU，因为说明页的示例会把模型自动分配到你的设备上。
• Qwen 文档里关于 AWQ 的页面，里面有更多使用量化版本的说明。

1. 安装最新的 transformers。
2. 用 pip 安装 Hugging Face hub 包。
3. 用 hf 命令下载这个仓库，或者让下面的代码自动获取。
4. 运行快速开始示例，只有需要时再加上长文本设置。

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-7B-Instruct-AWQ

如何使用：

说明页加载模型和分词器，用聊天模板把系统消息和用户消息组成一段对话，最多生成 512 个新词元，再把回复解码。

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen2.5-7B-Instruct-AWQ"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

输入超过 32,768 个词元时，说明页说要在配置文件里加一项 YaRN 的 rope scaling，并用 vLLM 部署。

示例：

你发一条设定友好语气的系统消息，再发一条用户消息，请它简短介绍大语言模型。模型用文字回复，长度不超过你设的上限。

新手与专家：

量化就是用更少的位数存模型的数字，让它占用更少内存。AWQ 是其中一种方法，会尽量保护最重要的权重。一个好的第一步是用一个简短的问题运行快速开始示例，看看回复是否符合你的需要。

自带的配置按 32,768 个词元设置。YaRN 把它拉伸到 131,072，但 vLLM 使用一个固定的缩放系数，这可能降低较短文本上的质量。所以说明页建议只有需要长上下文时才打开它。与原始 bfloat16 模型的基准对比放在 Qwen 的另一个页面上。

加载 4 位模型和分词器
用模板组成一段对话
生成新词元
解码回复

注意事项：说明页给出了三个词元上限。

Title: 词元上限
Default config context: 32768 tokens
Context with YaRN: 131072 tokens
Generated per reply: 8192 tokens

• 版本：记录列出别人做的 9 个微调版本。
• 基础：它基于 Qwen2.5-7B-Instruct 构建。
• 语言：记录里是英文，说明页提到整个系列支持 29 种以上语言。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务。
• Data it reaches: 你从 Hugging Face 下载的文件，以及你发送的提示词。
• Not for: 全精度准确度最重要的工作。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.6B
• Weights: about 30.5 GB in I32
• Formats: Safetensors
• 最近 30 天下载：1,578,054
• 点赞：63
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-7B-Instruct
• Fine-tunes: 9
• 标签：transformers, safetensors, qwen2, text-generation, chat, conversational, 4-bit

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ
• 文件：https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-7B-Instruct-AWQ

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。