Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件，不是原模型的忠实替身。

由 Joakimpalm-Zen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Qwen3.8-27B 的 IQ3_S GGUF，它的缩放值是通过蒸馏重新训练的。它以 ISTA-DASLab 的 GSQ-RCO 文件为起点，只改动了 399 个张量里的缩放字段。卡片称它是研究产物，不是通用发布版。

适合谁：它适合研究量化、想把缩放恢复实验和未修改文件对比的研究者和爱好者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 量化研究者 | 把恢复后的文件与源文件和原模型对比 | 复现卡片里的 KLD 和困惑度读数
AI 爱好者 | 本地模型用户 | 在源文件能运行的地方运行这个小巧的 IQ3_S 文件 | 用小体积和 27B 模型聊天
工具 | 运行时开发者 | 测试引擎对 i-quant 文件的支持 | 检查这个文件的 CUDA 和 Metal 内核
教育 | 学生 | 了解量化块里的缩放和编码有什么不同 | 阅读卡片里的方法和证据

如果你需要原模型的接近副本，可以跳过它，因为卡片说它不是。

用在哪里：

• 任何能读取源 GGUF 文件的引擎
• 按卡片所说，CUDA 上用 Runner 0.5.3 或更新版本，Metal 上用 0.5.6 或更新版本
• Windows、macOS 或 Linux，用 Python 下载文件

使用场景 | 适合谁 | 能得到什么
量化研究 | 研究者 | 一个与原模型的距离被测量过的文件
本地聊天 | 爱好者 | 一个小巧的 27B 模型，带着卡片说明的局限
速度测试 | 开发者 | 加上 MTP 草稿头后更快的解码

如何设置：你需要装有 pip 的 Python，以及能读取 GGUF 文件的引擎。

• Python 和 pip
• 约 13.4 GB 磁盘，就像 4 位估算所示
• 一个 GGUF 引擎，比如卡片提到的 Runner

1. 用 pip 安装 Hugging Face 客户端。
2. 用 hf 命令下载这个仓库。
3. 在你的引擎里加载恢复后的 GGUF 文件。如果想要更快的解码，也加载 MTP 草稿文件。

pip install -U huggingface_hub
hf download Joakimpalm-Zen/Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

如何使用：加载好以后，你像用其他 GGUF 模型一样和它聊天。这里展示的文字没有给出运行命令。仓库里还有一个 MTP 草稿文件，作为推测解码的搭档。

示例：你在受支持的引擎里加载这个文件，问一个简短的问题。你会得到一个正常的回复。卡片提醒，这个模型的下一词元行为和原模型不同，所以请用你自己的提示词来判断。

新手与专家：这是一个实验，不是打磨好的发布版。第一件可以试的小事，是在加载之前先读卡片上的局限说明。

量化块里存的是整数编码加 fp16 缩放字段。这里只有缩放字段是针对 BF16 原模型重新训练的，编码、格式、字节长度和偏移都和源文件一样。结果比源文件更接近原模型，但仍然远在卡片自己的保真度标准之外。它在参考语料上的困惑度也比原模型低，所以它的分布是另一种分布。

Qwen3.8-27B 原模型
ISTA-DASLab 的 IQ3_S GSQ-RCO 文件
通过蒸馏重新训练缩放字段
编码和布局不变，缩放是新的

注意事项：

• Limit first: 卡片说这个文件对 float32 参考的平均 KLD 是 0.4119，约是它自己标准的八倍。它是学习出来的衍生品，不是忠实的量化。

Title: 对 float32 参考的平均 KLD，越低越接近
这个文件: 0.4119
ISTA-DASLab 源文件: 0.5616
卡片的保真度标准，至多: 0.05

• Perplexity: 在卡片的参考语料上，这个文件的读数比原模型低。

Title: 参考语料上的困惑度
这个文件: 21.54
ISTA-DASLab 源文件: 53.48
原模型: 73.29

• Earlier reading: 在 500 个简短的 Wikitext-2 前缀上，卡片报告平均 KLD 为 0.0450。它说这只对那些位置成立。
• MTP head: 卡片说在 GPU 上用 llama.cpp 解码速度约快 1.9 倍，在 CUDA 上用 Runner 1.1.3 约快 1.1 倍，走 int8 路线约 1.5 倍。
• License: Apache 2.0，许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。作者欢迎自愿捐助。
• Data it reaches: 你交给引擎的提示词，以及下载时用到的 Hugging Face。
• Not for: 卡片说它是研究产物，不能替代原模型的分布。

Hugging Face 上的数据（2026年11月13日）

• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,605
• 点赞：17
• 许可证：apache-2.0
• 基于：ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
• 标签：gguf, qwen3.8, gated-deltanet, scale-recovery, distillation, xyntetik-runner, imatrix, conversational

链接

• 模型：https://huggingface.co/Joakimpalm-Zen/Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF
• 文件：https://huggingface.co/Joakimpalm-Zen/Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Joakimpalm-Zen/Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。