Qwen2.5-Coder-7B-Instruct-GGUF

Qwen2.5-Coder-7B-Instruct-GGUF

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen 的 Qwen2.5-Coder 7B 指令模型的 GGUF 打包版本，llama.cpp 可以在你自己的电脑上运行它。Qwen2.5-Coder 是 Qwen 的编程模型家族，是 CodeQwen1.5 的后继者，在写代码、分析代码和修复代码方面都有提升。共提供八种量化等级。

适合谁：想让编程模型跑在自己硬件上、而不是用托管服务的开发者。想在本地模型之上搭建代码智能体的人也适合。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用本地模型起草、解释和修复代码 | 让它修复一个出错的函数
教育 | 学编程的学生 | 让代码得到通俗的解释 | 贴一段代码，问它做了什么
工具 | 智能体开发者 | 把它当作智能体里的编程模型 | 让智能体把代码步骤交给本地模型

如果你想要最大的上下文窗口，可以跳过这个 GGUF 版本。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp
• 用 llama-cli 开启的终端聊天会话
• 需要本地编程模型的代码智能体方案

Use case | Who | What they get back
代码生成 | 开发者 | 根据一句平实的请求写出的代码
代码修复 | 开发者 | 你提供的代码的修正版
代码推理 | 学生和审阅者 | 对一段代码作用的解释

如何设置：

• 带 pip 的 Python，用来获取文件
• llama.cpp，按其官方指南克隆并安装
• 放得下你所选 GGUF 文件的磁盘空间，按 Hugging Face 的估算，4 位约 3.8 GB

1. 安装 Hugging Face hub 包。
2. 下载模型的一种量化版本。下面的例子选 q5_k_m。
3. 如果文件被分成几部分，用 llama-gguf-split 合并。

pip install -U huggingface_hub

huggingface-cli download Qwen/Qwen2.5-Coder-7B-Instruct-GGUF --include "qwen2.5-coder-7b-instruct-q5_k_m*.gguf" --local-dir . --local-dir-use-symlinks False

大文件会被拆成几部分，它们前缀相同，后缀带序号。把它们全部下载下来，再合并：

./llama-gguf-split --merge qwen2.5-coder-7b-instruct-q5_k_m-00001-of-00002.gguf qwen2.5-coder-7b-instruct-q5_k_m.gguf

如何使用：在 llama.cpp 文件夹里运行这些命令。用对话模式启动 llama-cli，用 -m 指向你的 GGUF 文件，然后在终端里聊天。

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

Tool | What it does
huggingface-cli download | 获取你指定的一个或多个 GGUF 文件
llama-gguf-split --merge | 把拆开的 GGUF 部分合并成一个文件
llama-cli | 在终端里以聊天方式运行模型

示例：你用对话模式启动 llama-cli，请它写一个解析日期字符串的函数。模型在终端里用代码回答，你可以在同一个会话里继续追问。

新手与专家：如果你是新手，GGUF 是一种文件格式，让 llama.cpp 能在普通电脑上运行模型。下载一个文件，用它运行聊天命令，再问一个编程问题。

这是一个 7.61B 参数的因果模型，共 28 层，使用分组查询注意力，查询 28 个头，键和值 4 个头。它用到 RoPE、SwiGLU 和 RMSNorm。这个 GGUF 版本的上下文是 32,768 个词元。YARN 外推到 131,072 个词元只在 vLLM 中可用，所以卡片让你改用非 GGUF 的模型。八种量化等级从小的 q2_K 到大的 q8_0。

选一个量化等级
下载它的一个或多个 GGUF 文件
如果有拆分的部分就合并
用 -m 指向该文件运行 llama-cli

注意事项：

• 上下文：这个 GGUF 版本为 32,768 个词元
• 量化：等级低省内存，等级高保留更多细节
• License: Apache 2.0
• Cost to run: 没有列出费用，在本地用 llama.cpp 运行
• Data it reaches: 你输入的提示词，以及从 Hugging Face 下载的文件
• Not for: 最长 131,072 个词元的序列，这时卡片建议改用非 GGUF 的模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：7.6B
• Weights: about 3.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：375,860
• 点赞：653
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-7B-Instruct
• Quantized versions: 1
• Fine-tunes: 2
• 标签：transformers, gguf, code, codeqwen, chat, qwen, qwen-coder, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-7B-Instruct-GGUF
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-7B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-7B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。