Qwen3.8-35B-A3B-Distill-GGUF

Qwen3.8-35B-A3B-Distill-GGUF

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

由 empero-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库把 empero-ai 的 Qwen3.8-35B-A3B-Distill 打包成不同尺寸的 GGUF 文件。那个模型是从 Qwen3.8 前沿模型蒸馏到一个 Qwen3.6-35B-A3B 混合专家网络里得到的。它总共有 35B 参数，每个 token 约有 3B 参数在工作。你可以在 llama.cpp、Ollama，或者 LM Studio、Jan 和 KoboldCpp 这类桌面应用里加载这些文件。

适合谁：在自己机器上运行大模型、想要一个与内存匹配的文件的人，包括只有 CPU 但内存很大的人。

Industry | Who uses it | How they use it | Example
软件开发 | 本地模型用户 | 离线运行推理模型 | 在 llama.cpp 里的一次聊天
AI 工具 | 桌面应用用户 | 在 LM Studio、Jan 或 KoboldCpp 里加载文件 | 使用 Q4_K_M 文件的本地聊天应用
研究 | 模型研究者 | 对比量化等级 | 在同一个模型上对比 Q2_K 和 Q8_0
视觉工作 | 爱好者 | 用视觉投影文件描述图像 | 通过 llama-mtmd-cli 描述一张照片

如果你的内存不到 16 GB，可以跳过它，因为即使最小的文件也约有 12.6 GB。

用在哪里：

• llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp
• 用 Python 取回文件后，在 Windows、macOS 或 Linux 上使用
• 显存或系统内存足够放下整个文件的机器

Use case | Who | What they get back
推理聊天 | 本地模型用户 | 以思考块开头的回答
图像描述 | 爱好者 | 借助视觉投影文件得到的照片描述
用 CPU 或部分卸载运行 | 没有大显卡的人 | 速度够用，因为只有约 3B 参数在工作

如何设置：

• Python 和 pip
• 一个支持这个模型设计的较新 llama.cpp 版本，因为旧版本无法加载它
• 够放下整个文件的内存：最小的需要 16 GB，Q4_K_M 在 GPU 上需要 24 GB 显存，在 CPU 上需要 32 GB 内存

1. 安装 Hugging Face hub 工具。
2. 下载模型文件，或从仓库里挑一个文件。
3. 对照 SHA256SUMS 清单检查文件，再用你的运行环境运行其中一个。

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-35B-A3B-Distill-GGUF

对照仓库里的校验和清单检查下载的文件：

sha256sum -c SHA256SUMS --ignore-missing

如何使用：在 llama.cpp 里用内置聊天模板运行这个文件。这是一个推理模型，所以每个回答都以思考块开头。请给足 token 上限，并在把回答展示给用户前去掉这个块。其他运行环境可以直接加载文件，聊天模板就存放在文件里。

llama-cli -m Qwen3.8-35B-A3B-Q4_K_M.gguf \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -n 16384 -cnv

处理图像时，把投影文件和任意一个文字文件搭配使用。

llama-mtmd-cli -m Qwen3.8-35B-A3B-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3.8-35B-A3B-F16.gguf \
  --image photo.jpg -p "Describe this image."

Tool | What it does
llama-cli | 用所选的 GGUF 文件进行文字聊天
llama-mtmd-cli | 借助投影文件让模型处理图像
sha256sum | 对照 SHA256SUMS 清单检查下载的文件

示例：你用 llama-cli 运行 Q4_K_M 文件并提一个问题。模型先写出一个思考块，再给出回答。处理照片时，你运行 llama-mtmd-cli，带上投影文件和要求它描述图像的提示词。

新手与专家：如果你是新手，先用卡片推荐给大多数人的 Q4_K_M 文件。确认你的 llama.cpp 版本够新，再问一个简短的问题。

内部有 30 层是 Gated DeltaNet，10 层使用全注意力。它拥有 256 个专家，每个 token 送给其中 8 个。需要放进内存的是整个文件，而不是 35B 的计算量。IQ 量化以及 2-bit 和 3-bit 的 K 量化使用重要性矩阵来保持连贯。视觉部分原样继承自基础模型，卡片说这次蒸馏只针对文本，视觉没有评测。

挑一个适合你内存的文件
对照 SHA256SUMS 检查它
在 llama.cpp 或其他应用里运行
从回答里去掉思考块

注意事项：

• 内存：整个文件都要放得下，长上下文还会带来很大的缓存开销
• 视觉：投影文件继承自基础模型，卡片说视觉没有评测
• 参考文件：BF16 文件是完整精度，仅供参考

Title: 所选量化文件的大小，单位 GB
IQ2_M: 12.558 GB
IQ3_M: 16.340 GB
Q3_K_M: 17.664 GB
IQ4_XS: 19.628 GB
Q4_K_M: 21.713 GB
Q6_K: 29.209 GB
Q8_0: 37.802 GB
BF16: 71.067 GB

• License: Apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务，只需要你自己的硬件
• Data it reaches: 下载会取回模型文件，聊天在你自己的运行环境里本地进行
• Not for: 旧版 llama.cpp，它们无法加载这个架构

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：35.5B
• Weights: about 17.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,337,097
• 点赞：277
• 许可证：apache-2.0
• 语言：en
• 基于：empero-ai/Qwen3.8-35B-A3B-Distill
• 标签：gguf, llama.cpp, quantized, empero-ai, qwen3.6, qwen3.8, distillation, reasoning, gated-deltanet, text-generation, conversational

链接

• 模型：https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF
• 文件：https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download empero-ai/Qwen3.8-35B-A3B-Distill-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。