Qwen3.8-27B Fable-5 Coding Distilled GGUF

Qwen3.8-27B Fable-5 Coding Distilled GGUF

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

由 mradermacher 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 Qwen3.8-27B-Fable-5-Coding-Distilled 的 GGUF 量化版本，这是 khazarai 发布的 27.3 billion 参数模型。文件由 mradermacher 制作，有很多尺寸，让你可以在质量和内存之间取舍。名字指向编程方向，但模型卡本身没有说明模型怎么训练、表现如何，所以在依赖它之前请先读基础模型的页面。有两个小的补充文件标注为多模态。

适合谁：适合想在自己机器上运行一个偏编程的大模型、并希望文件放得进自己内存的开发者和爱好者。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 不用托管服务，在本地运行编程模型 | 让它解释或起草一个函数
本地 AI | 爱好者 | 把大模型放进家用电脑 | 选一个适合自己内存的中等尺寸版本
研究 | 模型评测者 | 看质量如何随尺寸变化 | 用同样的提示词对比 2 位和 8 位的文件

如果你想要原始的完整精度权重，可以跳过这些文件，直接去看基础模型。

用在哪里：GGUF 文件可以在支持 GGUF 格式的工具里加载，比如基于 llama.cpp 的应用。模型卡没有指明具体的工具，所以请确认你的工具能处理这个模型。

• Windows、macOS 或 Linux 上支持 GGUF 的运行器
• 带 pip 的 Python，用 Hugging Face 工具下载文件
• 内存够放下你所选版本的机器

Title: 它能做的事
Use case | Who | What they get back
代码帮助 | 开发者 | 在自己硬件上由模型生成的草稿和解释
尺寸对比 | 爱折腾的人 | 看清质量和内存的取舍
多模态测试 | 实验者 | 如果补充文件能在你的工具里使用，就可以输入图像

如何设置：你需要带 pip 的 Python 来取文件，以及放得下所选版本的内存。模型卡里的主文件从 11.0 GB 到 29.1 GB。模型卡没有给出运行命令，所以请按你运行器自己的 GGUF 文档操作。

• 带 pip 的 Python
• 支持 GGUF 的运行器
• 放得下所选版本的内存，从 11.0 GB 到 29.1 GB

1. 安装 Hugging Face 的下载工具。
2. 下载整个仓库，或只下载你想要的文件。
3. 在运行器里加载文件。

pip install -U huggingface_hub
hf download mradermacher/Qwen3.8-27B-Fable-5-Coding-Distilled-GGUF

如何使用：从模型卡的表格里选一个版本，在运行器里加载那个文件。模型卡把 4 位的 Q4_K_S 和 Q4_K_M 标为快且推荐，把 Q8_0 标为质量最好。多部分文件可能需要拼接，模型卡为此指向了另一位作者的指南。多模态补充文件是单独的，在支持它们的工具里与主文件放在一起使用。

Title: 版本和大小
Build | Size in GB | Notes
Q2_K | 11.0 | 最小的主文件
Q3_K_M | 13.6 | 质量较低
Q4_K_S | 15.9 | 快，推荐
Q4_K_M | 16.9 | 快，推荐
Q6_K | 22.5 | 质量更高
Q8_0 | 29.1 | 快，质量最好
mmproj-Q8_0 | 0.7 | 多模态补充

示例：你大约有 20 GB 内存可用，所以选了 16.9 GB 的 Q4_K_M。你只下载这一个文件，在 GGUF 运行器里加载。你让它起草一个小函数，如果想要更高质量，再试 19.6 GB 的 Q5_K_M。

新手与专家：如果你是新手，量化就是把模型缩小，让它能放进更少的内存，代价是质量略有损失。先从 Q4_K_M 开始，因为模型卡推荐它，再根据你机器能放下多少往上或往下调。

如果你熟悉这个领域，这些是静态量化。模型卡说，同一模型的加权 imatrix 量化放在另一个仓库里，而且相近尺寸下，IQ 量化通常比非 IQ 量化更好。这里的 IQ4_XS 文件是 15.5 GB。

你按内存选一个版本
你下载 GGUF 文件
你的运行器加载它
你在本地向模型提问

注意事项：更大的文件保留更多质量，也需要更多内存。模型卡的表格按大小排序，并说明大小不一定等于质量。

Title: 各版本的文件大小，GB
Q2_K: 11.0
Q3_K_M: 13.6
Q4_K_M: 16.9
Q5_K_M: 19.6
Q6_K: 22.5
Q8_0: 29.1

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你给它的提示词
• Not for: 需要完整精度权重的人，或需要模型卡说明模型怎么蒸馏的人，它没有说明

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：894,772
• 点赞：34
• 许可证：apache-2.0
• 语言：en
• 基于：khazarai/Qwen3.8-27B-Fable-5-Coding-Distilled
• 标签：transformers, gguf, coding, agentic-coding, reasoning, distilled, unsloth, conversational

链接

• 模型：https://huggingface.co/mradermacher/Qwen3.8-27B-Fable-5-Coding-Distilled-GGUF
• 文件：https://huggingface.co/mradermacher/Qwen3.8-27B-Fable-5-Coding-Distilled-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mradermacher/Qwen3.8-27B-Fable-5-Coding-Distilled-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。