Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen2.5-Coder-1.5B-Instruct-GGUF

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 GGUF 格式的 Qwen2.5-Coder 1.5B 指令微调模型，供 llama.cpp 使用。Qwen2.5-Coder 是 Qwen 的代码专用系列，以前叫 CodeQwen，有从 0.5B 到 32B 的六种大小。

模型卡称这个系列在代码生成、代码推理和代码修复上比 CodeQwen1.5 有所提升，训练用了 5.5 万亿个 token 的代码、文本与代码配对数据和合成数据。它在数学和通用任务上的能力也保留了下来。

适合谁：它适合想在自己机器上用小型代码助手、不用托管服务、并且习惯命令行的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 从本地模型得到代码草稿和修复 | 请它写一个 Python 函数
教育 | 学生 | 离线练习编程题 | 请它解释一个错误
本地 AI | 爱好者 | 在笔记本上运行轻量代码模型 | 对比量化大小
工具 | 工具开发者 | 把小型代码模型嵌入编辑器工具 | 给出一个快速修复建议

如果你需要最好的编程效果或超长输入，可以跳过它，因为模型卡提到更大的尺寸最高到 32B。

用在哪里：这些文件在 Windows、macOS 或 Linux 上的 llama.cpp 里运行。模型卡建议用对话模式，获得聊天机器人式的体验。

• llama.cpp 的 llama-cli
• 笔记本 CPU，或卸载了部分层的 GPU
• 任何能加载 GGUF 文件的工具

用途 | 谁 | 得到什么
代码生成 | 开发者 | 根据普通请求写出的代码
代码修复 | 学生 | 带解释的修正后片段
代码推理 | 工程师 | 对代码做什么的书面讲解

如何设置：你需要带 pip 的 Python 来下载一个文件，还需要能用的 llama.cpp。模型卡说要克隆 llama.cpp 并按它的指南安装，然后只下载你要的那个 GGUF 文件。

• 带 pip 的 Python
• 已安装的 llama.cpp
• 放你所选量化的磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载你要的 GGUF 文件，而不是整个仓库。
3. 在 llama.cpp 文件夹里运行它。

pip install -U huggingface_hub

huggingface-cli download Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF qwen2.5-coder-1.5b-instruct-q4_k_m.gguf --local-dir . --local-dir-use-symlinks False

如何使用：你用 GGUF 文件的路径以对话模式启动 llama-cli，然后输入你的编程请求。这条命令还设定了助手的角色、GPU 层数和回复长度。

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

参数 | 作用
-m | 指向你的 GGUF 文件
-cnv | 启动对话模式
-p | 设置系统提示词
-ngl | 设置多少层放到 GPU 上
-n | 限制回复的 token 长度

示例：你用 q4_k_m 文件启动这条命令，输入一个要求写小函数的请求。模型在终端里回复代码和一句简短说明，你可以让它再改。

新手与专家：如果你是新手，下载示例里的 q4_k_m 文件，运行命令，让它写一个很小的函数。然后让它修复你贴进去的代码里的错误。

如果你懂这个领域，模型有 28 层，采用 12 个查询头和 2 个键值头的分组查询注意力。GGUF 文件的上下文是 32,768 个 token，模型卡说只有 vLLM 支持用 YARN 处理更长的输入。

下载一个 GGUF 文件
以对话模式运行 llama-cli
输入编程请求
读取代码回复

注意事项：要处理最长 131,072 个 token 的输入，模型卡让你去用非 GGUF 的模型。量化大小从 2 位的 q2_K 到 8 位的 q8_0。

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你输入的代码和消息
• Not for: GGUF 下超过 32,768 个 token 的长输入，因为 YARN 需要 vLLM

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.8B
• Weights: about 889 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：160,766
• 点赞：162
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-1.5B-Instruct
• 标签：transformers, gguf, code, codeqwen, chat, qwen, qwen-coder, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF
• 文件：https://huggingface.co/Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。