Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

由 hesamation 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这些是一个推理微调的 Qwen3.6-35B-A3B 模型的 GGUF 量化版本。训练数据是 Claude Opus 4.6 风格的思维链材料。这些文件只处理文字，所以图像和视频输入不在训练范围内。

适合谁：适合想在自己电脑上运行偏重推理的模型，并把它和基础模型做对比的人。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 硬件较强的爱好者 | 离线运行 35B 推理模型 | 一步步解一道逻辑题
研究 | 微调研究者 | 研究推理蒸馏对基础模型的影响 | 与原版 Qwen 模型对比回答
软件 | 开发者 | 在本地 llama.cpp 环境中试用推理模型 | 问一个技术问题并阅读推理过程
教育 | 学生和辅导老师 | 阅读题目的推理过程 | 一步步讲解一道数学题

如果你需要图像输入或者内存不多，可以跳过，因为光是 4-bit 权重就估计约有 17.3 GB。

用在哪里：

• llama.cpp 以及其他能读取 GGUF 文件的运行环境
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 你按自己内存选择量化版本的本地聊天或脚本环境

用例 | 谁用 | 得到什么
推理问题 | 本地 AI 用户 | 会展示推理过程的回答
模型对比 | 研究者 | 一个可以和基础 Qwen 模型对照测试的微调模型
量化选择 | 想调整内存占用的人 | 四种文件大小，在质量和内存之间取舍

如何设置：先准备好这些。

• 带 pip 的 Python
• 能加载 GGUF 文件的运行环境，比如 llama.cpp
• 够你所选量化版本用的内存，4-bit 起步接近 17.3 GB

1. 用 pip 安装 Hugging Face hub 库。
2. 用 hf 命令下载模型文件。
3. 选一个量化文件，因为模型卡说文件会在每个量化完成后陆续上传。
4. 按你的 GGUF 运行环境自己的说明加载该文件。

pip install -U huggingface_hub
hf download hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

如何使用：在运行环境里加载一个量化文件，把它当推理模型来聊天。训练用的是 qwen3-thinking 聊天模板。模型卡没有给出自己的运行命令，所以具体步骤取决于你的运行环境。

工具 | 作用
Q4_K_M | 本地使用时最小的日常选择
Q5_K_M | 稍大一些，质量比 Q4 更好
Q6_K | 内存允许时质量更高
Q8_0 | 最大的文件，最接近源模型

示例：加载 Q4_K_M 文件，让它解一道应用题并写出步骤。你会得到一段文字推理，然后是答案。模型卡没有给出示例输出，所以风格会随你的设置而变化。

新手与专家：如果你是新手，量化就是大模型的压缩副本。先用最小的 Q4_K_M，在改动其他东西之前先试一个推理问题。

如果你熟悉这个领域，这是一个只针对注意力模块的 LoRA 微调，rank 为 32、alpha 为 32，训练 2 个 epoch、762 步，然后合并并用 llama.cpp 量化。训练用了三个推理数据集。唯一的基准是在合并后的源模型上做的一个小型 MMLU-Pro 冒烟测试，不是针对每个 GGUF，作者称它是对比性检查，而不是完整基准。

Qwen3.6-35B-A3B 基础模型
用 LoRA 做监督微调
合并成一个完整模型
用 llama.cpp 量化为 GGUF
四个量化文件可选

注意事项：

• 仅文字：基础架构有视觉编码器，但这次训练没有用图像或视频
• 基准：分数是在合并后的源模型上测的，量化可能改变分数
• 其他版本：其他人做过 2 个微调版本

Title: 70 道题上的 MMLU-Pro 精确匹配
基础模型: 42.86 %
合并后的源模型: 75.71 %

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你下载的文件和你给自己运行环境的提示词，来源没有提到网络或账号访问
• Not for: 图像或视频输入，也没有完整规模基准的支持，因为唯一的测试是 70 道题的检查

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：17,179
• 点赞：296
• 许可证：apache-2.0
• 语言：en
• 基于：hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled
• Fine-tunes: 2
• 标签：gguf, llama.cpp, qwen, qwen3.6, qwen3_5_moe, reasoning, chain-of-thought, conversational, quantized, unsloth, text-generation, model-index

链接

• 模型：https://huggingface.co/hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
• 文件：https://huggingface.co/hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。