Qwen3.8-27B-Ridge-GGUF

Qwen3.8-27B-Ridge-GGUF

把 Qwen3.8-27B 压缩成每权重 3.7 位的 GGUF 文件来运行，适合 16 GB 的 GPU，还可选图像输入。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Empero 制作的 Qwen3.8-27B 量化 GGUF 版本，名叫 Ridge。一个 27B 模型用 BF16 通常要占约 51 GiB，而 Ridge 以每权重 3.69 位把它压缩到 11.73 GiB。量化类型的组合是针对这个模型的混合层结构调过的，用于多词元预测的草稿头也保留在文件里。另有一个单独的视觉文件用来增加图像输入。

适合谁：适合在自己电脑上运行大语言模型、想在 16 到 24 GB 显卡上用 27B 模型的人。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 通过 llama.cpp 运行本地编码和聊天模型 | 工作站 GPU 上的私有助手
AI 爱好者 | 本地模型爱好者 | 在消费级显卡上试用大模型 | 16 GB 显卡上、上下文适中的 27B 模型
研究 | 量化研究者 | 比较不同量化组合的文件大小和困惑度 | Ridge 与其他 2 到 3 位的文件对比
办公 IT | 小团队 | 自己托管私有模型，不把文本发给任何服务 | 公司内部的问答机

如果你想要全精度模型，或者想要适合手机的小文件，可以跳过它，因为这个文件有 11.73 GiB。

用在哪里：它在 Windows、macOS 或 Linux 上的标准 GGUF 程序中运行。

• llama.cpp，包括 llama-cli 命令行
• Ollama
• LM Studio
• jan
• KoboldCpp 和其他 GGUF 运行时

使用场景 | 谁用 | 得到什么
本地聊天和编码 | 开发者 | 文字回答，默认开启思考
图像提问 | 爱好者 | 加上视觉文件后，对图片的回复
文件大小比较 | 研究人员 | 与其他量化版本对比的困惑度和大小数字

如何设置：你需要一个 GGUF 运行时和足够的内存。模型卡的实用起点是 16 GB 的 GPU，加上上下文和视觉文件后，24 GB 会比较宽裕。

• llama.cpp、Ollama 或 LM Studio 这类运行时
• 如果用 Hugging Face 工具获取文件，还需要装有 pip 的 Python
• 模型文件约 12.59 GB 磁盘空间，视觉文件另加约 0.93 GB

1. 下载 Ridge GGUF 文件。如果要图像输入，也下载视觉文件。
2. 让你的运行时按确切的文件名指向下载好的文件。
3. 用下一节的采样设置运行它。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-27B-Ridge-GGUF

如何使用：用 llama-cli 时，思考默认开启。传入模型文件，把各层放到 GPU 上，再给一个提示词。要关闭思考，加上推理开关，并用更温和的采样设置。

llama-cli \
  -m Qwen3.8-27B-Ridge-3.7bpw.gguf \
  -ngl 99 -n 16384 \
  --temp 1.0 --top-p 0.95 --top-k 20 \
  -p "Explain the design tradeoffs in a Gated-DeltaNet hybrid model."

llama-cli \
  -m Qwen3.8-27B-Ridge-3.7bpw.gguf \
  -ngl 99 --reasoning off \
  --temp 0.7 --top-p 0.80 --top-k 20 --presence-penalty 1.5 \
  -p "Say hello in one short sentence."

工具 | 作用
-m | 指定要加载的 GGUF 文件
-ngl 99 | 把模型各层放到 GPU 上，和模型卡的速度测试一样
--reasoning off | 关闭思考，得到普通的指令式回答
--temp、--top-p、--top-k | 设置采样，数值来自官方 Qwen 模型卡
-p | 给出提示词

示例：用你自己的问题运行第一条命令，比如让它用两行话概括什么是混合注意力模型。模型会先思考，再打印回答。第二条命令跳过思考，直接作答。

新手与专家：量化就是用更少的位数存储模型的数字，让它能装进更小的硬件。Ridge 是把 27B 的 Qwen 模型压缩到每权重约 3.7 位。第一个小尝试，是下载那一个 GGUF 文件，运行第一条命令。

对熟悉这个领域的人来说，Qwen3.8 每个全注意力层配三个 Gated-DeltaNet 层，而这条状态通路在低位宽下很敏感。Ridge 让它保持 Q8_0，混合器用 Q4_K，通过降低中间层 FFN 的精度来省位，并让草稿头保持 Q6_K。模型卡在自己的 80 块测试上测得困惑度为 7.82，BF16 为 7.15，约高 9%。

从 Qwen3.8-27B 检查点出发
让 Gated-DeltaNet 状态通路保持 Q8_0
降低中间层 FFN 的精度来省位
让多词元草稿头保持 Q6_K
在 llama.cpp 或类似程序中运行 GGUF

注意事项：下面的数字是模型卡作者在一套环境下测得的，所以只能当作参考。

• 速度：在一块 96 GB 的 RTX PRO 6000 Blackwell 上，生成约每秒 54 个词元，提示词处理约每秒 130 个。
• 图像：图像输入需要视觉文件，它会增加约 1 GiB。
• 长上下文：在原生 262k 窗口下，键值缓存占用最多的内存，所以可能需要卸载。

Title: 文件大小，单位 GiB
BF16 GGUF: 50.89 GiB
Ridge-3.7bpw: 11.73 GiB
视觉文件: 0.87 GiB

Title: Wiki 风格困惑度，越低越好
BF16 GGUF: 7.15 PPL
Ridge-3.7bpw: 7.82 PPL

• License: Apache 2.0。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务，不过模型卡的实用起点是 16 GB 或更大的 GPU。
• Data it reaches: 只有你给它的提示词和图片，以及你下载的文件。
• Not for: 判断模型能做什么，因为模型卡讲的是如何选择和运行这个文件，并把读者引向基础模型的模型卡。

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：292,932
• 点赞：369
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Qwen/Qwen3.8-27B
• 标签：gguf, llama.cpp, quantized, qwen3.8, qwen3.5, ridge, gated-deltanet, imatrix, reasoning, multimodal, vision, long-context

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-27B-Ridge-GGUF
• 文件：https://huggingface.co/empero-ai/Qwen3.8-27B-Ridge-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-27B-Ridge-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。