Qwen3.8-27B iMatrix NVFP4 MTP GGUF

Qwen3.8-27B iMatrix NVFP4 MTP GGUF

Qwen3.8-27B 的 17.1 GB 混合精度 GGUF，保留了多词元预测层，为 24 GB GPU 上的 256K 上下文和视觉功能调优。适合在 llama.cpp 里本地运行大模型的人。

由 cdiamond 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen/Qwen3.8-27B 的一个 17.1 GB 混合精度 GGUF，约为每权重 5.01 位。它的大部分使用 NVFP4 格式，作者在注意力、Gated DeltaNet 和靠后的前馈张量上多花了一些位数。训练好的多词元预测层保留在同一个文件里。它不是微调版本。

适合谁：它适合在单张 24 GB GPU 上运行 27B 模型、想要很长上下文的人。也适合想通过单独的投影器文件获得可选视觉通道的人。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地以长上下文提供 27B 模型服务 | 在 llama.cpp 里运行一场很长的编程会话
AI 工具 | 智能体开发者 | 借助内置的 MTP 层加快生成 | 以更高的词元速率运行工具调用循环
研究 | 量化研究人员 | 研究 NVFP4 混合方案 | 与 Q4_1 文件比较困惑度

没有约 24 GB GPU 的人可以跳过它，因为模型卡上的数字来自这一级别的显卡。

用在哪里：

• llama.cpp，模型卡所用的运行时
• NVIDIA GPU，在一张 24 GB 的 Blackwell 工作站显卡上测试
• 可选的第二张 GPU，用于视觉投影器
• Windows、macOS 或 Linux，用来下载文件

Title: 主要用途
Use case | Who | What they get back
长上下文聊天 | 开发者 | 模型卡测试中容纳了 261,500 个输入词元的 256K 窗口
更快的生成 | 智能体开发者 | 内置 MTP 层带来的加速
图像问题 | 开发者 | 通过可选投影器文件得到的视觉回答

如何设置：

• 你电脑上的 Python，用于下载
• huggingface_hub 包
• llama.cpp，要获得速度结果需要支持 MTP
• 要用完整上下文，需要约 24 GB 的 GPU

1. 安装 Hugging Face 的 hub 包。
2. 把文件下载到你的电脑。
3. 在 llama.cpp 里加载主 GGUF。只有需要图像输入时才加上视觉投影器文件。

pip install -U huggingface_hub
hf download cdiamond/Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF

Title: 仓库里的文件
File | Purpose
Qwen3.8-27B-iMatrix-NVFP4-MTP.gguf | 带有一个内置 MTP 层的主模型
mmproj-Qwen3.8-27B-F16.gguf | 可选的视觉投影器，与上游转换版本相同
recipe/tensor-types.txt | 最终混合方案使用的张量覆盖设置
SHA256SUMS | 发布版校验和

如何使用：能看到的模型卡文字没有给出运行命令。让 llama.cpp 指向主 GGUF，要处理图像时再加上投影器文件。模型卡上最好的速度来自定制的 llama.cpp 构建，所以标准构建可能更慢。

示例：你在 24 GB 的显卡上加载主文件，并用一个很长的提示词开始聊天。模型卡的测试把缓存填入了 261,500 个输入词元，又生成了 256 个，结果没有截断，也没有显存溢出。

新手与专家：如果你是新手，量化就是用更少的位来存储模型，让它能装进你的 GPU。第一次尝试可以先只用主文件，用正常的上下文长度，再加视觉。

对于专家来说，基础文件大部分是 NVFP4。16 个完整注意力层中的注意力矩阵使用 Q5_K，词嵌入使用 Q6_K，输出头使用 Q8_0。重要性矩阵来自 296 个真实会话中的 5,472 条消息，不对外发布。短对照测试上的困惑度是 6.1197，作者把它与 6.1127 的 Q4_1 视为持平。

下载主 GGUF
在 llama.cpp 里加载它
处理图像时加上投影器
以长上下文聊天

注意事项：

• Speed: 模型卡报告 10 次生产运行的平均值是 50.441 tok/s，用内置 MTP 层时是 59.456 tok/s。
• Separate tests: 作者有意把各行分开，所以不要把最好的情况加在一起。
• Custom runtime: 最高的数字用了六个尚未合并的 llama.cpp 拉取请求。
• License: Apache 2.0。
• Cost to run: 来源未提及，24 GB 的 GPU 是模型卡的测试硬件。
• Data it reaches: 它从 Hugging Face 下载文件，来源没有提到其他内容。
• Not for: 小显存的 GPU，或期待比 Q4_1 质量更高的人。

Title: 模型卡测试 GPU 上的生成速度
Target-only greedy: 21.189 tok/s
Embedded MTP: 59.456 tok/s

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：461M
• Weights: about 230 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：3,271,044
• 点赞：51
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：gguf, qwen, qwen3.8, nvfp4, imatrix, llama.cpp, multimodal, 256k-context, image-text-to-text

链接

• 模型：https://huggingface.co/cdiamond/Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF
• 文件：https://huggingface.co/cdiamond/Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download cdiamond/Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。