Qwen3.8-27B-QSA-GSQ-RCO-GGUF

Qwen3.8-27B-QSA-GSQ-RCO-GGUF

在一块 24 GB 的 GPU 上，以 262K token 的上下文和图片输入运行带稀疏注意力的 Qwen3.8-27B，是 GGUF 文件，适合有定制版 llama.cpp 引擎的人。

由 pentacoxian-dev 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这里的文件让你在一块 24 GB 的显卡上，运行采用 Qwen 稀疏注意力设计的 Qwen3.8-27B。它支持 262K token 的上下文，也能接受图片。这些文件需要 pentaCoxian 的特殊版 llama.cpp，因为标准的 llama.cpp 无法加载这些权重。

适合谁：如果你有一块 24 GB 的 GPU，想在自己的机器上用 27B 模型阅读很长的文档或代码库，它适合你，进阶用户尤其合适。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地查询很长的代码库 | 问一个大型仓库里某个函数在哪里定义
研究 | 本地模型爱好者 | 测试长上下文下的稀疏注意力 | 对比稀疏和稠密注意力的召回
AI 基础设施 | 自托管用户 | 在一块消费级 GPU 上运行 27B 模型 | 在 RTX 4090 上运行启动脚本

如果你无法构建这个定制引擎，或者你的 GPU 不到 24 GB，可以跳过它。

用在哪里：

• 从源码构建的 Qwen-QSA-llama.cpp 引擎
• 带一块 24 GB GPU 的机器
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Title: Jobs it does
用途 | 适合谁 | 得到什么
长上下文提问 | 开发者 | 基于最长 262K token 输入给出的回答
图片提问 | 有图片要查看的人 | 针对你提供的图片给出的文字回答
更快的解码 | 自托管用户 | 借助自带起草器的辅助生成

如何设置：你需要一份已构建好的引擎检出目录，它的 README 里有构建步骤。三个文件加起来约 14 GB。

• 带 pip 的 Python，用于 hf 命令
• 一份已构建的 Qwen-QSA-llama.cpp 引擎
• 一块 24 GB 的 GPU

1. 按引擎 README 构建引擎。
2. 把模型文件下载到 models 文件夹。
3. 在引擎检出目录里运行启动脚本。

pip install -U huggingface_hub

hf download pentacoxian-dev/Qwen3.8-27B-QSA-GSQ-RCO-GGUF --local-dir models
deploy/qsa27b-24gb/serve.sh

如何使用：在已构建的引擎检出目录里运行这两条命令。脚本会把主模型、起草器和视觉投影器一起启动。SHA256SUMS 文件列出了校验和，方便你验证下载。

Title: Files in the repository
工具 | 作用
IQ3_S 主模型文件 | 量化后的 27B 权重，内置稀疏注意力索引器和一个 MTP 头，12.3 GB
Qwen3.8-27B-DFlash2-IQ4_XS.gguf | 用于推测解码的起草器，1.0 GB
mmproj-Qwen3.8-27B-QSA-F16.gguf | 视觉投影器，0.9 GB

示例：你启动服务器，然后给它一个很长的源文件，问某个函数的定义。模型用稀疏注意力以文字作答，模型卡的召回测试报告在 255K token 时有 67% 的精确查找完全正确。

新手与专家：这是进阶配置。普通注意力会看之前的每个 token，而稀疏注意力只看选出的少数几个，这在长输入上能节省速度和内存。第一小步是在下载任何东西之前先读引擎的 README。

在它的 16 个注意力层的每一层里，一个小型索引器会选出 2,048 个 token 让模型去看。原来的索引器是在 16K 上训练的，所以在 255K 时它们的选择就落后了。作者只重新训练了索引器，约 53M 参数，目标是模型自己的稠密注意力。用 LLAMA_QSA_DENSE=1 关闭稀疏注意力可以看到稠密注意力的结果，解码速度约为一半。

Qwen3.8-27B IQ3_S 基础文件
加入并重新训练 QSA 索引器
起草器和视觉投影器一起配套
由定制引擎提供服务

注意事项：在一块 RTX 4090 上以 262K 上下文测得，贪心解码约每秒 114.7 个 token，显存峰值为 22.8 GiB。超过 64K 后，稀疏注意力仍然会漏掉一些查找，多半发生在目标记录位于文本中间的时候。

Title: Exact-lookup recall at 255K context
旧索引器: 41 %
重新训练的索引器: 67 %
稠密注意力: 92 %

• License: Apache 2.0。
• Cost to run: 未提及，除了需要一块 24 GB 的 GPU。
• Data it reaches: 文件来自 Hugging Face，之后模型在你自己的电脑上运行。
• Not for: 原版 llama.cpp，它无法运行这些稀疏注意力权重。

Hugging Face 上的数据（2026年11月13日）

• 参数量：1.9B
• Weights: about 962 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,784
• 点赞：6
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：gguf, llama.cpp, gsq-rco, conversational

链接

• 模型：https://huggingface.co/pentacoxian-dev/Qwen3.8-27B-QSA-GSQ-RCO-GGUF
• 文件：https://huggingface.co/pentacoxian-dev/Qwen3.8-27B-QSA-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download pentacoxian-dev/Qwen3.8-27B-QSA-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。