Qwen2.5-Coder-32B-Instruct-GGUF

Qwen2.5-Coder-32B-Instruct-GGUF

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen2.5-Coder-32B-Instruct 的 GGUF 版本，一个 320 亿参数、专为编程调优的聊天模型。GGUF 格式让你可以用 llama.cpp 在自己的机器上运行它。它能根据简单请求编写、分析和修复代码。

适合谁：适合想在本地运行大型代码模型、不依赖在线服务的开发者，以及已经在用 llama.cpp 的爱好者。团队也可以把它当作自有工具的本地编程后端。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在终端里和本地代码模型对话 | 要一个函数并阅读回复
开发者工具 | 构建代码助手的团队 | 把模型当作离线后端运行 | 让内部工具指向本地副本
研究 | 爱好者和研究人员 | 比较同一模型的不同量化等级 | 在自己的硬件上试 q4_K_M 和 q8_0
教育 | 学生和老师 | 无需在线账号就能得到代码解释 | 贴一段代码问它做什么

如果你只有配置较小的笔记本，可以跳过它，因为 4-bit 权重估计也有 16.4 GB。

用在哪里：

• Windows、macOS 或 Linux 上的 llama.cpp，在终端里使用它的 llama-cli 工具
• 任何基于 llama.cpp、能读取 GGUF 文件的工具
• 需要超过 32,768 词元的输入时，请改用非 GGUF 版本

Use case | Who | What they get back
根据请求写代码 | 开发者 | 对话里生成的函数和脚本
修复出错的代码 | 开发者 | 改正后的代码和说明
离线编程帮助 | 数据规定严格的团队 | 在自己机器上产生的回答

如何设置：

• 安装好 Python 和 pip，用来获取文件
• 按官方指南装好的 llama.cpp
• 为所选文件预留磁盘和内存，4-bit 版本估计约 16.4 GB
• 命令都在 llama.cpp 文件夹内运行

1. 安装 Hugging Face hub 包。
2. 下载你想要的量化版本。大文件会分成几个共用前缀的部分，这条命令会把它们全部取回。
3. 如果得到的是分段文件，用 llama-gguf-split 把它们合并成一个文件。

pip install -U huggingface_hub

huggingface-cli download Qwen/Qwen2.5-Coder-32B-Instruct-GGUF --include "qwen2.5-coder-32b-instruct-q5_k_m*.gguf" --local-dir . --local-dir-use-symlinks False

# ./llama-gguf-split --merge <first-split-file-path> <merged-file-path>
./llama-gguf-split --merge qwen2.5-coder-32b-instruct-q5_k_m-00001-of-00003.gguf qwen2.5-coder-32b-instruct-q5_k_m.gguf

如何使用：用对话模式启动 llama-cli，指定你的 GGUF 文件和一句系统提示。之后在提示符处输入请求，在终端里阅读回复。

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

Tool | What it does
huggingface-cli download | 从 Hugging Face 取回你选的 GGUF 文件
llama-gguf-split | 把分段的 GGUF 文件合并成一个文件
llama-cli | 加载模型并在终端里打开聊天会话

示例：聊天打开后，你输入 "write a function that reverses a string"。模型会在终端里回复这个函数的代码，你可以在同一会话里继续追问。

新手与专家：如果你刚接触，可以把这个文件看作为本地使用打包好的模型。下载一个量化版本，按上面的方式启动 llama-cli，先问一个简单的编程问题。量化等级越高，质量越好，但需要的内存也越多。

对专家来说，它是一个因果语言模型，有 64 层、40 个查询头和 8 个键值头（GQA），非嵌入参数约 31.0B，上下文为 32,768 词元。量化类型从较小的 q2_K 一直到较大的 q8_0，中间有 q3、q4、q5 和 q6 的各级版本。只有 vLLM 支持 YaRN 长度外推，所以更长的上下文需要非 GGUF 模型。

选一个量化版本并下载文件
如有分段文件就先合并
llama-cli 加载 GGUF 文件
你在终端里和模型对话

注意事项：

• Quant types: 共提供八个等级，从 q2_K 到 q8_0
• Context: 这个 GGUF 版本为 32,768 词元
• License: Apache 2.0
• Cost to run: 未提及，不需要 API 密钥或账号，只需要内存足够的硬件
• Data it reaches: 会从 Hugging Face 下载文件，之后在你自己的机器上运行
• Not for: 来源没有列出禁止用途，输入超过 32,768 词元时需要非 GGUF 模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：32.8B
• Weights: about 16.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：68,726
• 点赞：244
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-32B-Instruct
• Quantized versions: 1
• Fine-tunes: 2
• 标签：transformers, gguf, code, codeqwen, chat, qwen, qwen-coder, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct-GGUF
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-32B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。