Qwen2.5-Coder-1.5B Q8_0 GGUF

Qwen2.5-Coder-1.5B Q8_0 GGUF

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

由 ggml-org 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库保存已转换成 GGUF 格式、量化为 Q8_0 的 Qwen2.5-Coder-1.5B。ggml-org 通过 GGUF-my-repo 空间，用 llama.cpp 完成了转换。原模型是 Qwen 的。

模型卡把模型本身的细节留给原模型卡。它只讲怎样用 llama.cpp 运行这个 GGUF 文件。

适合谁：想在自己电脑上用小型代码类模型的开发者最适合它。记录里列出 1.5B 个参数和英语。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地试用小型代码模型 | 用命令行工具运行一条文字提示
工具开发 | 工具构建者 | 把本地模型提供给其他程序 | 启动 llama.cpp 服务器
兴趣 | 本地 AI 爱好者 | 测试 1.5B 模型的表现 | 和更大的本地模型做对比

如果你想了解模型本身的细节，可以跳过这张卡，去读它指向的 Qwen 原模型卡。

用在哪里：你在自己的电脑上，通过 llama.cpp 在终端里运行它。

• 装有 llama.cpp 的终端
• macOS 或 Linux，可以用 brew 安装 llama.cpp
• Windows 或其他系统，从源码构建 llama.cpp

Use case | Who | What they get back
命令行提示 | 开发者 | 接着你的提示继续写下去的文字
本地服务器 | 工具构建者 | 由 llama-server 提供服务的运行中的模型
小模型测试 | 爱好者 | 对 1.5B 代码模型的直观感受

如何设置：你需要 llama.cpp，然后让它指向这个仓库和文件。

• llama.cpp，在 Mac 或 Linux 上用 brew 安装
• 或者从源码构建 llama.cpp，并带上硬件相关的参数
• 如果想自己下载文件，需要带 hub 工具的 Python

1. 用 brew 安装 llama.cpp，或者从 GitHub 克隆并构建。
2. 如果从源码构建，进入文件夹并用 make 构建。
3. 带上仓库名和文件名，运行命令行工具或服务器。

brew install llama.cpp

cd llama.cpp && LLAMA_CURL=1 make

pip install -U huggingface_hub
hf download ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF

如何使用：单次提示就运行命令行工具，需要反复使用就启动服务器。两者都要写明仓库和 GGUF 文件。

llama-cli --hf-repo ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF --hf-file qwen2.5-coder-1.5b-q8_0.gguf -p "The meaning to life and the universe is"

llama-server --hf-repo ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF --hf-file qwen2.5-coder-1.5b-q8_0.gguf -c 2048

Tool | What it does
llama-cli | 运行一条提示并打印模型的续写
llama-server | 为模型启动本地服务器
brew install llama.cpp | 在 Mac 和 Linux 上安装 llama.cpp

示例：你像模型卡的示例那样，用一句关于生命意义的未写完的话运行 llama-cli。模型会在终端里把这句话接着写下去。

新手与专家：你可以把这个模型看成一个小型的文字续写引擎，从命令行启动。第一个小尝试，是用示例提示运行上面的 llama-cli 命令。

在底层，Q8_0 是这个 GGUF 的量化级别，llama.cpp 按名称直接从仓库加载它。源模型是 Qwen2.5-Coder-1.5B，细节在它自己的模型卡里。

Qwen2.5-Coder-1.5B 原模型
用 llama.cpp 转换成 Q8_0 的 GGUF
由 llama-cli 或 llama-server 加载
文字在终端或服务器里返回

注意事项：这张模型卡只是一份简短的转换说明，所以模型细节在原模型卡里。

• Size: 1.5B 个参数
• Language: 英语
• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 你给它的提示词，以及 llama.cpp 或 hub 工具从 Hugging Face 下载的模型文件

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.5B
• Weights: about 772 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：6,422
• 点赞：27
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-Coder-1.5B
• 标签：transformers, gguf, code, qwen, qwen-coder, codeqwen, llama-cpp, gguf-my-repo, text-generation, conversational

链接

• 模型：https://huggingface.co/ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF
• 文件：https://huggingface.co/ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。