Qwen3.8-27B-SLQ-GGUF

Qwen3.8-27B-SLQ-GGUF

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

由 kaitchup 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是用自定义版 SLQ（统计无损量化，Statistically-Lossless Quantization）压缩、并打包成 GGUF 的 Qwen3.8-27B。它不是统一用一种精度，而是为 498 个完整矩阵各自挑选来源，包括嵌入层和输出头。你从三个文件里选一个。

适合谁：它适合在本地运行大模型、想在文件大小和接近原模型的程度之间选一个精确位置的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在 llama.cpp 里本地运行 27B 模型 | 本地编程或聊天助手
研究 | 量化研究者 | 研究逐矩阵的混合精度和 EAR 分数 | 在你自己的提示词上对比这三个文件
AI 爱好者 | 本地模型用户 | 选一个装得进自己内存的文件 | 内存紧张时挑最小的文件
运维 | 平台团队 | 部署基础模型的忠实压缩副本 | 一个内部文本接口

如果你需要图片或视频输入，可以跳过它，因为里面没有视觉张量和投影器。

用在哪里：

• 支持 Qwen3.8 架构的 llama.cpp 构建
• Windows、macOS 或 Linux，用 Python 下载文件
• 其他能读取 GGUF 文件的程序

使用场景 | 适合谁 | 能得到什么
文本聊天 | 本地模型用户 | 来自 Qwen3.8-27B 近似副本的回复
选择体积 | 开发者 | 三个文件，大小从 18.876 GB 到 23.697 GB
保真度研究 | 研究者 | 接近 98%、98.5% 和 99% 的实测 EAR@10 值

如何设置：你需要装有 pip 的 Python，以及支持 Qwen3.8 的 llama.cpp 构建。

• Python 和 pip
• 支持 Qwen3.8 的 llama.cpp 构建
• 放你所选文件的磁盘空间，从 18.876 GB 到 23.697 GB

1. 用 pip 安装 Hugging Face 客户端。
2. 从仓库里下载一个文件，不要三个都下。
3. 在 llama.cpp 里加载那个文件。

pip install -U huggingface_hub
hf download kaitchup/Qwen3.8-27B-SLQ-GGUF \
  Qwen3.8-27B-SLQ-EAR98-Q5_K_S.gguf --local-dir .

如何使用：在 llama.cpp 构建里加载你下载的文件，用文字聊天。卡片验证了文本打分和单独 GGUF 的一致性，但没有验证图片或视频输入，也没有验证推测解码。

模型 | 量化标签 | 完整文件大小，单位 GB | EAR@10 目标
EAR98 | Q5_K_S | 18.876 | 98%
EAR98.5 | Q5_K_M | 20.703 | 98.5%
EAR99 | Q6_K | 23.697 | 99%

示例：你下载 EAR98 文件，在 llama.cpp 里加载，并问一个文字问题。你会得到一个普通的文字回复。卡片说输出和 BF16 模型的下一词元概率保持接近，但不保证答案完全相同。

新手与专家：按你有多少内存来选文件。文件越大，越接近原模型。第一件可以试的小事，是用上面的下载命令下最小的那个文件。

EAR 是预期接受率（Expected Acceptance Rate），指 BF16 模型和被比较模型的下一词元概率，在最可能的 10 个词元上的重合程度。EAR 为 0.99，表示平均概率重合 99%，不是 99% 的基准准确率。文件名后缀只是自定义分配在 Hub 上的兼容性标签。搜索从多个来源文件里取材，包括 unsloth 的 GGUF 类型和一个 GSQ 文件。

Qwen3.8-27B BF16 参考模型
来自多种量化类型的候选来源文件
搜索为每个矩阵挑选来源
自定义 SLQ 分配达到 EAR 目标
打包成 GGUF

注意事项：

• Sizes: 文件大小以十进制 GB 计。每个文件保留约 3.51 亿字节的 MTP 张量，评估时它们是关闭的。

Title: 完整文件大小，单位 GB
EAR98: 18.876 GB
EAR98.5: 20.703 GB
EAR99: 23.697 GB

• Fidelity: 这些数值是校准保真度，因为选择时用的是同一份语料，卡片说下游任务上的等价性尚未确立。
• Missing parts: 不含视觉张量和多模态投影器。
• Credit: 卡片感谢了 Qwen 团队、Unsloth、ISTA-DASLab 和 SLQ 的作者。
• License: Apache 2.0，许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。作者欢迎自愿支持。
• Data it reaches: 你交给运行程序的提示词，以及下载时用到的 Hugging Face。
• Not for: 图片或视频输入，以及推测解码，卡片说这些没有验证过。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：13,478
• 点赞：60
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：gguf, qwen3_5, mixed-precision, llama.cpp, quantization, text-generation, conversational

链接

• 模型：https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF
• 文件：https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kaitchup/Qwen3.8-27B-SLQ-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。