Qwen2.5-Coder-14B-Instruct-GGUF

Qwen2.5-Coder-14B-Instruct-GGUF

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 GGUF 格式的 Qwen2.5-Coder 14B 指令微调模型，供 llama.cpp 使用。Qwen2.5-Coder 是 Qwen 的代码专用系列，以前叫 CodeQwen，大小从 0.5B 到 32B。

模型卡称这个系列在代码生成、代码推理和代码修复上比 CodeQwen1.5 有所提升，训练用了 5.5 万亿个 token。它也面向代码智能体，同时保留了数学和通用能力。

适合谁：它适合想在自己硬件上用中等大小代码模型、并且能处理几 GB 文件的开发者。4 位版本估计约 7.4 GB。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 用本地模型起草和修复代码 | 请它写一个函数和测试
工程 | 团队 | 让源代码留在自己的机器上 | 私下评审一段代码
智能体构建 | 工具开发者 | 用本地模型支撑代码智能体 | 运行修复循环
本地 AI | 爱好者 | 在强力 GPU 上运行 14B 代码模型 | 试不同的量化大小

如果你只有小笔记本，可以跳过它，去看更小的 Qwen2.5-Coder 尺寸。

用在哪里：这些文件在 Windows、macOS 或 Linux 上的 llama.cpp 里运行。模型卡建议用对话模式，获得聊天机器人式的体验。

• llama.cpp 的 llama-cli
• 显存足够的 GPU，或内存充足的机器
• 任何能加载 GGUF 文件的工具

用途 | 谁 | 得到什么
代码生成 | 开发者 | 根据普通请求写出的代码
代码修复 | 工程师 | 修正后的片段和简短解释
代码智能体 | 构建者 | 用于智能体循环的文字输出

如何设置：你需要带 pip 的 Python 和能用的 llama.cpp。大的量化文件被拆成几份，所以你要下载所有分片，使用前可能还要合并。

• 带 pip 的 Python
• 已安装的 llama.cpp
• 放你所选量化的几 GB 空闲磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载你要的量化的所有分片。
3. 用 llama-gguf-split 合并分片。

pip install -U huggingface_hub

huggingface-cli download Qwen/Qwen2.5-Coder-14B-Instruct-GGUF --include "qwen2.5-coder-14b-instruct-q5_k_m*.gguf" --local-dir . --local-dir-use-symlinks False

./llama-gguf-split --merge qwen2.5-coder-14b-instruct-q5_k_m-00001-of-00002.gguf qwen2.5-coder-14b-instruct-q5_k_m.gguf

如何使用：你用合并后的 GGUF 文件路径以对话模式启动 llama-cli，然后输入你的编程请求。这条命令还设定了助手的角色、GPU 层数和回复长度。

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

工具 | 作用
huggingface-cli download | 下载你指定量化的所有分片
llama-gguf-split --merge | 把拆分的分片合成一个 GGUF 文件
llama-cli | 在终端里和模型聊天

示例：你合并 q5_k_m 的分片，用合并后的文件启动聊天命令，请它写一个解析日期的函数。模型在终端里回复代码和一句简短说明。

新手与专家：如果你是新手，先试更小的量化或 1.5B 模型来检查你的环境，再升到这个。合并步骤只有拆分文件才需要。

如果你懂这个领域，模型有 48 层，采用 40 个查询头和 8 个键值头的分组查询注意力。GGUF 文件的上下文是 32,768 个 token，模型卡说只有 vLLM 支持用 YARN 处理更长的输入。

下载量化的所有分片
如果拆分了就合并
以对话模式运行 llama-cli
输入编程请求

注意事项：要处理最长 131,072 个 token 的输入，模型卡让你去用非 GGUF 的模型。量化大小从 2 位的 q2_K 到 8 位的 q8_0。

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你输入的代码和消息
• Not for: GGUF 下超过 32,768 个 token 的长输入，因为 YARN 需要 vLLM

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：14.8B
• Weights: about 7.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：202,738
• 点赞：280
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-14B-Instruct
• Quantized versions: 1
• 标签：transformers, gguf, code, codeqwen, chat, qwen, qwen-coder, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-14B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。