Qwen3.8-27B Agention Precision GGUF

Qwen3.8-27B Agention Precision GGUF

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

由 agentionai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Qwen3.8-27B 的 Agention Precision 量化版本，GGUF 格式，用于 llama.cpp。作者说每个文件都采用非均匀分配，并用自定义编码器做误差校正，以便贴近原始的 BF16 模型。包里附带视觉投影器和 MTP 草稿头。

适合谁：它适合在单块消费级 GPU 上运行 27B 模型、想按显存大小挑选文件的人。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 在 12、16 或 24 GB 的显卡上运行 27B 模型 | 挑选适合自己显卡的文件
软件开发 | 开发者 | 通过 llama.cpp 提供本地模型服务 | 自己机器上的编程助手
模型研究 | 研究者 | 按量化版本对 BF16 的贴近程度作比较 | 阅读三组文本上的 KL 散度结果

想要原始 BF16 权重的人可以跳过。

用在哪里：

• llama.cpp：模型卡说这些文件使用标准类型，不需要分支，也不需要额外参数
• 12、16 或 24 GB 显存的 GPU，取决于所选文件
• Windows、macOS 或 Linux：用 Python 下载文件

Title: 它能做的事
用途 | 适合谁 | 得到什么
文字聊天和编程 | 开发者 | 量化版 Qwen3.8-27B 给出的回复
图像提问 | 本地 AI 用户 | 通过视觉投影器文件获得图像输入
量化比较 | 研究者 | 可以与 BF16 模型对照测量的文件

如何设置：你需要先准备：

• Windows、macOS 或 Linux 上的 Python，用来下载文件
• 能加载 GGUF 文件的 llama.cpp 构建
• 一块有足够空间放下所选文件及其上下文的 GPU

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 按显存大小挑一个 GGUF 文件，想用图像就再加上视觉投影器。

pip install -U huggingface_hub
hf download agentionai/Qwen3.8-27B-AP-GGUF

Title: 哪个文件对应哪种显卡
文件 | 模型卡列出的档位 | 适合
AP-Q4_K_XL | 余量最大 | 24 GB
AP-Q4_K_M | 24 GB，更小 | 24 GB
AP-IQ4_XS | 默认 | 16 GB
AP-Q3_K_XL | 需要余量 | 16 GB，上下文更长
AP-IQ3_S | 12 GB，质量更好 | 16 GB，8 到 16k 上下文
AP-IQ3_XS | 12 GB，均衡 | 12 GB，8 到 16k 上下文
AP-IQ3_XXS | 12 GB，多模型 | 12 GB，8 到 16k 上下文
AP-IQ2_S | 12 GB，最小 | 12 GB，8 到 16k 上下文
mmproj-BF16.gguf | 视觉 | 任何档位

如何使用：像加载任何 GGUF 一样，在 llama.cpp 中加载你选的文件。模型卡建议能放下就用 AP-IQ4_XS，只有内存不够时再往下一档。只有四分之一的层使用完整注意力，所以 32k 上下文在 q8_0 下约占 1 GiB。

示例：你有一块 16 GB 的显卡，所以加载 AP-IQ4_XS 并向它提问。如果要问一张照片，就加上视觉投影器文件。模型卡报告 AP-IQ4_XS 比同等大小的领先量化版本更接近 BF16 约 8%。

新手与专家：如果你刚接触，量化版就是模型的一个更小的副本，这个包提供了几种大小。先从 AP-IQ4_XS 开始，放不下再换更小的文件。

如果你熟悉这个领域，保真度是下一个 token 分布相对 BF16 的 Qwen3.8-27B 的 KL 散度，在三个语料上各取 60 段、每段 2,048 个 token 测得。它们是留出的技术文本集、一份网页切片和 wikitext-2。留出集是内部的，没有公开，所以那一列无法重新运行。模型卡给出了 llama-perplexity 命令，并说所有被比较的文件都用同样的方式测量。

把 Qwen3.8-27B 转成 BF16 GGUF
为每个语料记录 BF16 logits
用这些 logits 给每个量化版本打分
比较平均 KLD 和最差 1% 的 KLD

注意事项：模型卡列出了八种文件大小。

Title: 文件大小，单位 GiB
AP-Q4_K_XL: 16.35 GiB
AP-Q4_K_M: 15.33 GiB
AP-IQ4_XS: 13.27 GiB
AP-Q3_K_XL: 12.24 GiB
AP-IQ3_S: 11.21 GiB
AP-IQ3_XS: 10.70 GiB
AP-IQ3_XXS: 10.00 GiB
AP-IQ2_S: 8.95 GiB

• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 只有你给它的提示词和图像，在本地用 llama.cpp 运行

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：921,817
• 点赞：103
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：gguf, qwen3.8-27b, imatrix, agentionai, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/agentionai/Qwen3.8-27B-AP-GGUF
• 文件：https://huggingface.co/agentionai/Qwen3.8-27B-AP-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download agentionai/Qwen3.8-27B-AP-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。