Qwen3.6-35B-A3B lododo-Distill-v1.0 (GGUF)

Qwen3.6-35B-A3B lododo-Distill-v1.0 (GGUF)

一个可在本地运行的文本模型，是 Qwen3.6-35B-A3B 的微调版本，用 Qwen3.8-27B 生成的数据训练，打包成适用于 llama.cpp 的单个 GGUF 文件。适合在自己机器上跑模型做代码和工具调用的人。

由 lododoai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.6-35B-A3B 的微调版本，后者是一个有 3B 激活参数的混合专家模型，训练数据来自作为老师的 Qwen3.8-27B 写出的文本。它是一个 22.85 GB 的 GGUF 文件，量化为 Q4_K_XL，供 llama.cpp 使用。模型卡说它的目标是追平或超过老师模型，同时保持基础模型的速度。

适合谁：它适合在自己电脑上运行语言模型、关心代码、工具调用和数学的人。列出的语言是英文和中文。

Industry | Who uses it | How they use it | Example
软件开发 | 想要本地编程模型的开发者 | 在 llama-server 里运行 GGUF 文件，发送编程提示词 | 开发者让它写一个函数和对应的测试
智能体开发 | 在本地硬件上构建工具调用智能体的团队 | 向本地服务器发送工具调用请求 | 智能体选出一个工具并填好参数
研究 | 研究蒸馏和少激活参数模型的人 | 在模型卡的测试上，把它和基础模型、老师模型做对比 | 研究者用模型卡里的 llama.cpp 设置重跑一项测试

存不下 22.85 GB 文件的人可以跳过合并版，改试放在基础模型上的单独 40 MB LoRA 适配器。

用在哪里：凡是能运行 llama.cpp 的地方都能用，文件可在装有 Python 的 Windows、macOS 或 Linux 上下载。

• llama.cpp 的 llama-server：从 GGUF 文件提供模型服务
• moefast：一个小型启动器，为小显存 GPU 配置好 llama.cpp
• Strata：模型卡提到的、用于 MTP 推测解码的引擎，需要特殊的采样设置
• Windows、macOS 或 Linux：用 Hugging Face 工具下载文件

Use case | Who | What they get back
本地代码辅助 | 开发者 | 由跑在自己机器上的模型写出的代码
工具调用 | 智能体开发者 | 一个会选工具的本地模型，在模型卡的 100 题工具测试中得分 67.0%
在小显存 GPU 上运行 | 显存有限的人 | moefast 写在模型旁边的配置，以及随后启动的服务器

如何设置：先准备好下面几样东西。

• 用于下载的 Python 和 huggingface_hub 包
• 装好并能用 llama-server 的 llama.cpp
• 容纳 22.85 GB 模型文件的内存和磁盘
• 可选：用于小显存 GPU 的 moefast 启动器

1. 安装 Hugging Face hub 包。
2. 下载模型文件。
3. 确认 llama.cpp 的 llama-server 可以运行。
4. 按 How to use it 里的方式，用模型文件启动 llama-server。

pip install -U huggingface_hub
hf download lododoai/Qwen3.6-35B-A3B-Distill-Qwen3.8-27B-GGUF

如何使用：用 GGUF 文件启动 llama-server。模型卡自带的命令把上下文设为 32768，端口设为 8080。

llama-server -m Qwen3.6-35B-A3B-lododo-Distill-v1.0-UD-Q4_K_XL.gguf \
  -ngl 99 --jinja -c 32768 --port 8080

模型卡说这个模型没有特殊的采样要求，所以按你的任务选择 temperature 和 top_p 即可。只有当你在某个引擎（比如 Strata）上运行 MTP 推测解码，而该引擎会加入自己的采样默认值时，每个请求才需要下面这些值。

{"temperature": 0, "presence_penalty": 0, "frequency_penalty": 0, "repeat_penalty": 1.0}

在小显存 GPU 上，先从 GitHub 获取 moefast 仓库，进入它的文件夹，运行安装脚本，再把它指向你的 GGUF 文件。

./install.sh
./bin/moefast run /path/to/this-model.gguf

Tool | What it does
llama-server | 从 GGUF 文件提供模型服务
moefast run | 检查 GGUF 文件和你的空闲显存，然后在模型旁边写出一份可编辑的配置，并启动 llama-server
install.sh | 在 moefast 的仓库文件夹里完成 moefast 的安装
--moe-cache-mib | llama.cpp 自带的专家缓存参数，moefast 会为每个模型开启、定好大小并记住
--spec-type draft-mtp | llama.cpp 自带的 MTP 推测解码选项，不受这个采样问题影响

示例：你用 GGUF 文件启动 llama-server，然后发送提示词“Write a Python function that merges overlapping intervals.”。模型的回答会以文本形式从本地服务器返回。在模型卡自己的 112 道 AtCoder 代码测试里，这个模型得分 69.6%。

新手与专家：这是一个体积很大的语言模型文件，在你自己的电脑上运行，没有提到任何云服务。你的第一小步是下载它，用上面的命令启动 llama-server，然后向 8080 端口发一条提示词。

基础模型是一个有 3B 激活参数的混合专家模型。训练用 QLoRA，r=16、alpha 为 32，作用在注意力层和共享专家上，数据为 48.73M 个 token，约 52k 条样本，训练 0.5 个 epoch，共 747 步。模型卡把两次独立训练按相同权重取平均，以减少随机初始化带来的方差，合并后的文件包含 MTP 头。它用体积换来了方便：合并文件是 22.85 GB，而 LoRA 挂载体积很小，但在模型卡的代码测试里得分更低。

Qwen3.8-27B 老师模型写训练数据
QLoRA 微调 Qwen3.6-35B-A3B 基础模型
两次训练取平均并合并
一个 Q4_K_XL GGUF 在 llama.cpp 里运行

注意事项：

• 这些分数是模型卡自己测的，条件是关闭思考、使用 Q4 量化和相同的 llama.cpp 参数。
• 在 IFEval strict 上它得分 33.3%，低于 27B 老师模型的 36.7%，高于基础模型的 24.0%。
• 不推荐用 q8_0 的 LoRA 挂载，因为分块量化会放大小增量的误差。想要小文件请用 f16。
• 模型卡说 llama.cpp 默认关闭专家缓存，这大约会让吞吐量减半。
• 模型卡称它是社区作品，与 Qwen 没有关联，也没有得到 Qwen 的认可。

Title: 112 道题上的 LCB AtCoder 得分
本模型合并版: 69.6 %
Qwen3.8-27B 老师模型: 52.7 %
Qwen3.6-35B-A3B 基础模型: 50.9 %
LoRA f16 挂载: 67.9 %
LoRA f32 挂载: 66.1 %
LoRA q8_0 挂载: 62.5 %

• License: Apache 2.0，模型卡也把基础模型标为 Apache 2.0。
• Cost to run: 来源未提及，没有提到 API 密钥、账号或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件。llama-server 在你的机器上用 8080 端口运行，moefast 会读取 GGUF 元数据、测量空闲显存，并在模型旁边写一个配置文件。
• Not for: 需要官方 Qwen 版本的人，因为这是未获 Qwen 认可的社区作品。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：35.5B
• Weights: about 17.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：746
• 点赞：8
• 许可证：apache-2.0
• 语言：en, zh
• 基于：unsloth/Qwen3.6-35B-A3B-MTP-GGUF
• 标签：transformers, gguf, llama.cpp, mixture-of-experts, qwen, qwen3, qwen3.6, qwen3.8, distillation, coding, function-calling, chinese

链接

• 模型：https://huggingface.co/lododoai/Qwen3.6-35B-A3B-Distill-Qwen3.8-27B-GGUF
• 文件：https://huggingface.co/lododoai/Qwen3.6-35B-A3B-Distill-Qwen3.8-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download lododoai/Qwen3.6-35B-A3B-Distill-Qwen3.8-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。