Qwen3.8-27B QSA BF16

Qwen3.8-27B QSA BF16

在 Qwen3.8-27B 上加了学习型稀疏注意力索引器的 BF16 源权重，附带参考用的 Transformers 加载器，适合研究或部署 Qwen Sparse Attention 的人。

由 higa2515 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B QSA BF16 是加了学习型索引器的 Qwen3.8-27B，用于 Qwen Sparse Attention，简称 QSA。原有的主干、视觉和 MTP 权重文件逐字节保持不变。唯一新增的权重是 52,434,944 个 FP32 索引器，放在使用全注意力的 16 层里。其余 48 层保留 Gated DeltaNet 设计。

QSA 用一个压缩的索引器来选择每个词元要关注哪些上下文块。模型卡称所有原始 KV 条目都保留，所以这不是 KV 缓存压缩。

适合谁：它适合研究稀疏注意力或想部署 QSA 模型的研究者和工程师。记录列出 27.8B 参数，BF16 约 55.7 GB。

行业 | 谁在用 | 怎么用 | 例子
研究 | 机器学习研究者 | 在 27B 模型上研究学习型稀疏注意力 | 观察索引器如何挑选上下文
推理工程 | 运行时开发者 | 构建或测试稀疏内核服务 | 在 GGUF 文件上运行 QSA 引擎
软件 | 开发者 | 在本地运行长上下文多模态模型 | 针对一份长文档提问
模型工具 | 量化工程师 | 把 BF16 源转换成其他格式 | 制作一个 Q8_0 文件

如果你想要普通的聊天模型，可以跳过它。这是一个源发布，背后还有一个专用引擎。

用在哪里：

• 装有 transformers 的 Python，作为检查正确性的参考加载器
• 为 QSA 定制的 llama.cpp 引擎，模型卡称需要它，因为标准 llama.cpp 不支持 QSA 文件
• Windows、macOS 或 Linux，下载步骤需要 Python

用例 | 谁用 | 得到什么
参考加载 | 研究者 | 用 Transformers 加载来检查正确性，没有原生稀疏速度
部署 | 工程师 | 通过专用引擎运行 QSA GGUF
转换 | 工具开发者 | 用来构建其他量化版本的 BF16 源

如何设置：先准备好下面这些东西。

• Python 和 pip
• 打包好的依赖文件，模型卡说要安装它
• torch 2.14.1 加 CUDA 12.6 和 torchvision 0.29.1，这是记录下来的环境，而原生运行时用 CUDA 12.9
• BF16 权重约需 55.7 GB 磁盘空间

1. 用 pip 安装 Hugging Face hub 包。
2. 用 hf 命令下载仓库。
3. 安装依赖文件，并在启用打包的自定义代码之前先读一遍。

pip install -U huggingface_hub
hf download higa2515/Qwen3.8-27B-QSA-BF16

如何使用：做正确性检查时，按下面的方式通过 transformers 并启用远程代码来加载模型。模型卡称这个封装没有原生稀疏内核速度，文本用标准的注意力掩码，也没有实现 MTP。

from transformers import AutoModelForImageTextToText, AutoProcessor

path = "higa2515/Qwen3.8-27B-QSA-BF16"
processor = AutoProcessor.from_pretrained(path, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    path, trust_remote_code=True, dtype="auto", device_map="auto",
    attn_implementation="sdpa",
)

要部署的话，你选一个 GGUF 变体并启动 QSA 引擎。模型卡通过启动脚本上的两个环境变量来设置模型文件和文件夹。

QSA_MODEL=Qwen3.8-27B-QSA-Unsloth-UD-Q5_K_M.gguf QSA_MODEL_DIR=/path/to/gguf ./qsa27b-runtime/launch.sh

变体 | 来源 | 大小
Q8_0 | 由这个 QSA BF16 版本转换而来 | 29.26 GB
UD-Q4_K_M | Unsloth 的混合精度权重，加上索引器 | 16.67 GB
UD-Q5_K_M | Unsloth 的混合精度权重，加上索引器 | 19.98 GB
UD-Q6_K | Unsloth 的混合精度权重，加上索引器 | 22.19 GB

示例：你选 UD-Q5_K_M 文件，设置两个环境变量，运行启动脚本。引擎随后用原生 QSA 为文字、图片和视频提供服务，你可以像用任何本地模型一样和它聊天。

新手与专家：这是个进阶发布。如果你是新手，先试普通的 Qwen3.8-27B GGUF，等你想看 QSA 实际效果时再回来。

索引器以四个词元为一块来挑选上下文，使用固定的 K 值 2,048 再加当前块。12.5% 这个数字只描述 16k 词元处的 K，不是恒定的比例。索引器训练用了 300 步，序列长度 16,384。一半的数据是多模态的，另外加入了生成的 OCR、表格和形状练习。主干和视觉权重没有改动。

Title: 模型卡中的文件大小
Q8_0 GGUF: 29.26 GB
UD-Q4_K_M GGUF: 16.67 GB
UD-Q5_K_M GGUF: 19.98 GB
UD-Q6_K GGUF: 22.19 GB
BF16 源: 55.7 GB

下载 BF16 源或一个 GGUF
选一个你内存放得下的变体
启动 QSA 引擎
在开启稀疏注意力的情况下聊天

注意事项：

• License: Apache 2.0
• Cost to run: 来源没有提到费用，但你需要能放下 16.67 GB 到 55.7 GB 权重的 GPU 显存
• Data it reaches: 它从 Hugging Face 下载文件，Transformers 路径会在你的机器上运行打包的自定义代码
• Not for: 标准 llama.cpp，它不支持这些 QSA 文件

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.8B
• Weights: about 55.7 GB in BF16; about 13.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：457
• 点赞：14
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 1
• 标签：transformers, safetensors, qwen3_5_qsa, image-text-to-text, multimodal, bf16, conversational

链接

• 模型：https://huggingface.co/higa2515/Qwen3.8-27B-QSA-BF16
• 文件：https://huggingface.co/higa2515/Qwen3.8-27B-QSA-BF16/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download higa2515/Qwen3.8-27B-QSA-BF16

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。