Qwen3.8-27B-QSA-GGUF

Qwen3.8-27B-QSA-GGUF

用 GGUF 文件运行带稀疏注意力的 Qwen3.8-27B，提供 Q8_0 和 Unsloth 的 Q4、Q5、Q6 混合版本，支持文字、图片和视频输入。适合使用 NVIDIA 显卡的 Linux 用户。

由 higa2515 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是加入了 Qwen Sparse Attention（QSA）的 Qwen3.8-27B 的 GGUF 副本。你会得到一个 Q8_0 文件和三个 Unsloth 混合精度文件，它们都带有相同的 FP32 QSA 索引器。它们运行在专用的 llama.cpp 引擎上，支持文字、图片和视频输入。

适合谁：适合在装有 NVIDIA 显卡的 Linux 上本地运行大模型，并想在 27B 模型上试用稀疏注意力的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 运行本地模型的开发者 | 用 QSA 引擎启动量化模型 | 在双显卡 Linux 机器上部署 Q8_0 文件
研究 | 研究稀疏注意力的团队 | 把 QSA 和原来的注意力设计做对比 | 在长上下文上检查注意力节省了多少
视觉工作 | 需要图片和视频输入的人 | 把视觉投影文件和模型一起加载 | 针对一张图片提问

使用其他系统或显卡的人可以先跳过，因为打包好的引擎面向 Linux x86_64 和 NVIDIA sm70。

用在哪里：

• Linux x86_64 和 NVIDIA sm70 显卡，也就是打包好的引擎所面向的环境
• Qwen3.8-27B 的 QSA 版 llama.cpp，因为原版 llama.cpp 没有实现这条路径
• 装有 pip 的 Python，用来通过 Hugging Face 工具获取文件

用途 | 谁用 | 得到什么
本地聊天和编程 | 开发者 | 一个带前缀缓存复用的本地运行模型
图片和视频提问 | 有视觉需求的团队 | 用到视觉投影文件的回答
量化对比 | 研究人员 | 可以并排测试的 Q8_0 和 Unsloth 版本

如何设置：

你需要先准备：

• 一台带 NVIDIA sm70 显卡的 Linux x86_64 机器，打包好的二进制文件面向它
• 装有 pip 的 Python，用来安装 Hugging Face 工具
• 足够的显存，因为模型卡的参考配置是在两块 32GB 显卡上运行 Q8_0

1. 安装 Hugging Face 工具，并选一个模型文件。
2. 把这个文件连同视觉投影文件、引擎压缩包和校验文件一起下载。
3. 检查校验和，并解压引擎压缩包。
4. 用你选的模型运行启动脚本。

python3 -m pip install --user -U huggingface_hub
QSA_VARIANT=Qwen3.8-27B-QSA-Q8_0.gguf
hf download higa2515/Qwen3.8-27B-QSA-GGUF   "$QSA_VARIANT"   mmproj-Qwen3.8-27B-QSA-F16.gguf   qsa27b-linux-x86_64-sm70.tar.gz   SHA256SUMS release-manifest.json   --local-dir qsa27b
cd qsa27b
sha256sum -c SHA256SUMS --ignore-missing
tar -xzf qsa27b-linux-x86_64-sm70.tar.gz
QSA_MODEL="$QSA_VARIANT" QSA_MODEL_DIR="$PWD" ./qsa27b-runtime/launch.sh

如何使用：用你的模型运行启动脚本，它会在你的机器上启动一个本地服务器。如果想改用 Unsloth 版本，把 QSA_VARIANT 设为 UD-Q4_K_M、UD-Q5_K_M 或 UD-Q6_K 的文件名，并在启动前先下载那个文件。它不会自动安装任何服务。

工具 | 作用
hf download | 获取模型、视觉投影文件、引擎压缩包和校验文件
sha256sum -c | 按校验列表检查下载的文件
tar -xzf | 解压打包好的引擎和它的启动脚本
launch.sh | 用你选的模型启动引擎

示例：你选 Q8_0 文件，连同投影文件和引擎压缩包一起下载，检查校验和，解压，再运行启动脚本。模型就会在你的机器上通过 QSA 引擎运行，可以按模型卡的描述接收文字、图片或视频提示词。

新手与专家：GGUF 是用来在本地运行模型的文件格式，这些文件是 27B 模型的压缩副本。第一步可以先看文件表，如果显卡内存够就选 Q8_0，然后按顺序执行上面的命令。

QSA 用一个学出来的压缩索引器，以四个 token 为一块来选择要关注的上下文。16 个完整注意力层使用固定的 K 值 2,048 加上当前块，其余 48 个 Gated DeltaNet 层保持原样。所有 KV 条目仍然保留，所以 QSA 减少的是注意力计算和 KV 读取，而不是 KV 缓存占用。Unsloth 版本逐字节复用 866 个原始张量，并加入 80 个 FP32 索引器张量，没有重新训练也没有重新量化。

选一个量化模型文件
连同引擎压缩包一起下载
检查 SHA256 校验和
解压并运行启动脚本
使用本地服务器

注意事项：

• 上下文：参考配置使用 262,144 的上下文，批大小 2,048，MTP 最大草稿数 2
• 前缀复用：它覆盖目标 KV、汇总的索引器键和 MTP 状态，限于一个活动槽位，服务器重启后不会保留
• 参考路径：在 BF16 Transformers 参考实现里，图片和视频对话会退回到稠密注意力
• 版本：BF16 源权重单独提供

Title: File size in GB
Q8_0: 29.26 GB
UD-Q4_K_M: 16.67 GB
UD-Q5_K_M: 19.98 GB
UD-Q6_K: 22.19 GB

• License: apache-2.0
• Cost to run: 没有提到，不需要 API 密钥或账号。参考配置使用两块 32GB 的 NVIDIA 显卡
• Data it reaches: 它会从 Hugging Face 下载模型文件，启动脚本会启动本地服务器，但不会安装服务
• Not for: 原版 llama.cpp、不经修改的 sm70 以外的显卡，或者在重启后保留前缀缓存

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：27.4B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：12,136
• 点赞：32
• 许可证：apache-2.0
• 基于：higa2515/Qwen3.8-27B-QSA-BF16
• 标签：gguf, multimodal, llama-cpp, q8_0, q4_k_m, q5_k_m, q6_k, unsloth, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/higa2515/Qwen3.8-27B-QSA-GGUF
• 文件：https://huggingface.co/higa2515/Qwen3.8-27B-QSA-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download higa2515/Qwen3.8-27B-QSA-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。