Qwen2.5-1.5B-Instruct-GGUF

Qwen2.5-1.5B-Instruct-GGUF

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 GGUF 格式的 Qwen2.5 1.5B 指令微调模型，为 llama.cpp 准备。你在自己的电脑上和它聊天，中间没有托管服务。

文件有八种量化类型，从 q2_K 到 q8_0，可以在大小和质量之间取舍。模型有 1.54B 参数，上下文为 32,768 个 token，最多可生成 8,192 个。

适合谁：它适合想在自己机器上用轻量对话模型的人，用于起草、简单的代码帮助和结构化回答，并且习惯使用命令行。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 离线和小模型聊天 | 请它做一个简短的解释
软件 | 开发者 | 在本地工具里测试轻量模型 | 起草一个小脚本
教育 | 学生 | 在普通硬件上练习提示词 | 改写一段文字
研究 | 机器学习工程师 | 对比量化大小 | 比较 q4 和 q8

如果你需要最强的回答或超长文档，可以跳过它，因为还有更大的 Qwen2.5 模型。

用在哪里：这些文件在 Windows、macOS 或 Linux 上的 llama.cpp 里运行。模型卡建议用对话模式，获得聊天机器人式的体验。

• llama.cpp 的 llama-cli
• 笔记本 CPU，或卸载了部分层的 GPU
• 任何能加载 GGUF 文件的工具

用途 | 谁 | 得到什么
聊天机器人式聊天 | 普通用户 | 连续对话里的回复
轻量起草 | 写作者 | 简短的文字草稿
大小测试 | 工程师 | 各量化文件之间的质量

如何设置：你需要带 pip 的 Python 来下载一个文件，还需要能用的 llama.cpp。模型卡说要克隆 llama.cpp 并按它的指南安装，然后只下载你要的那个 GGUF 文件。

• 带 pip 的 Python
• 已安装的 llama.cpp
• 按量化不同，需要几百 MB 到几 GB 的磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载你要的 GGUF 文件，而不是整个仓库。
3. 在 llama.cpp 文件夹里运行它。

pip install -U huggingface_hub

huggingface-cli download Qwen/Qwen2.5-1.5B-Instruct-GGUF qwen2.5-1.5b-instruct-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

如何使用：你用 GGUF 文件的路径以对话模式启动 llama-cli，然后向模型输入。这条命令还设定了助手的角色、GPU 层数和回复长度。

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

参数 | 作用
-m | 指向你的 GGUF 文件
-cnv | 启动对话模式
-p | 设置系统提示词
-ngl | 设置多少层放到 GPU 上
-n | 限制回复的 token 长度

示例：你用 q5_k_m 文件启动这条命令，在聊天里输入一个简短的问题。模型在终端里回答，你可以继续聊下去。

新手与专家：如果你是新手，下载示例里的 q5_k_m 文件，运行命令并打个招呼。然后试一个更小或更大的量化，看看有什么变化。

如果你懂这个领域，模型是使用旋转位置编码、SwiGLU 和 RMSNorm 的 Transformer，注意力投影带偏置，词嵌入共享。它有 28 层，采用 12 个查询头和 2 个键值头的分组查询注意力。

下载一个 GGUF 文件
以对话模式运行 llama-cli
输入一条消息
读取回复

注意事项：量化大小从 2 位的 q2_K 到 8 位的 q8_0，中间有 q3、q4、q5 和 q6 选项。模型卡指向一篇有基准结果的博客，其中包括量化版与 bfloat16 的对比。

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你输入的消息
• Not for: 需要最大 Qwen2.5 模型的用户，因为这是 1.5B 的小号

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：1.8B
• Weights: about 889 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：544,123
• 点赞：200
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen2.5-1.5B-Instruct
• Quantized versions: 1
• Fine-tunes: 3
• 标签：gguf, chat, text-generation, conversational

链接

• 模型：https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF
• 文件：https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Qwen/Qwen2.5-1.5B-Instruct-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。