Qwen3.8-27B-GGUF

Qwen3.8-27B-GGUF

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 bartowski 用 llama.cpp 和重要性矩阵制作的 Qwen/Qwen3.8-27B 的 GGUF 量化版本。它提供多种大小，让你按内存挑选文件。模型卡列出文字输入，配合 mmproj 文件还支持图像输入，以及 MTP 推测解码。

适合谁：在自己电脑上通过 llama.cpp 运行大模型，并想挑一个适合自己硬件的文件大小的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在编程工具背后运行本地 27B 模型 | 一个本地聊天接口
研究 | AI 爱好者 | 比较不同的量化等级 | 按质量分数比较 Q4_K_M 和 Q6_K
教育 | 学生 | 在家用电脑上试用当前的开放模型 | 一个整理学习笔记的本地助手
信息技术 | 小团队 | 托管私有模型 | 内部助手

如果你的电脑内存很小，可以跳过它，因为即使较小的文件也超过 14 GB。

用在哪里：

• llama.cpp，这些量化版本就是用它制作的
• 其他能读取 GGUF 文件的程序
• Windows、macOS 或 Linux，下载这一步需要 Python

Use case | Who | What they get back
本地聊天 | 开发者 | 来自你硬件上 27B 模型的文字回答
图像提问 | 爱好者 | 配合 mmproj 文件，得到针对图像的回答
更快的解码 | 开发者 | 通过 MTP 做推测解码

如何设置：

• 电脑上装有 Python 和 pip
• 能加载 GGUF 文件的程序，比如 llama.cpp
• 为你选的文件留出磁盘和内存，大小从约 14 GB 到约 29 GB

1. 安装 Hugging Face hub 软件包。
2. 选一个量化文件。如果拿不准，模型卡建议 Q4_K_M。
3. 用 hf 命令下载它。

pip install -U huggingface_hub
hf download bartowski/Qwen3.8-27B-GGUF

如何使用：在 llama.cpp 里加载文件，并使用下面的提示格式。模型卡在系统轮次里把推理强度设为 xhigh，并以 think 标签开始助手轮次。

<|im_start|>system
Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.

{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

Quant | Size and card note
Q8_0 | 29.12 GB，最大的文件
Q6_K | 23.86 GB，推荐
Q5_K_M | 20.92 GB，推荐
Q4_K_M | 17.44 GB，推荐，也是模型卡的默认选择
IQ4_XS | 15.48 GB，推荐
Q3_K_L | 14.12 GB，可见列表里最小的

示例：你下载 Q4_K_M，用这个文件启动 llama.cpp。你在模板的用户轮次里输入一个问题，模型先思考，再回答。

新手与专家：如果你是新手，下载 Q4_K_M，并使用所示的提示格式。这是模型卡建议的体积和质量的平衡点。

如果你懂这个领域，表格给出了每个文件相对原模型的困惑度和平均 KL 散度。Q8_0 是 0.0009，Q4_K_M 是 0.0139。模型卡说这些文件用新的张量布局重新上传过，一些较旧的大小已不再生成。

Qwen3.8-27B 原模型
llama.cpp 重要性矩阵量化
多种大小的 GGUF 文件
按你的内存选一个

Title: 文件大小，单位 GB
Q8_0: 29.12 GB
Q6_K: 23.86 GB
Q5_K_M: 20.92 GB
Q4_K_M: 17.44 GB
IQ4_XS: 15.48 GB
Q3_K_L: 14.12 GB

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的硬件，没有提到付费服务
• Data it reaches: 你下载的文件和你给它的提示词
• Images: 需要单独的 mmproj 文件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：307,508
• 点赞：228
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Fine-tunes: 2
• 标签：gguf, image-text-to-text, imatrix, conversational

链接

• 模型：https://huggingface.co/bartowski/Qwen3.8-27B-GGUF
• 文件：https://huggingface.co/bartowski/Qwen3.8-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Qwen3.8-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。