Qwen3.6-35B-A3B Claude 4.7 Opus Reasoning Distilled

Qwen3.6-35B-A3B Claude 4.7 Opus Reasoning Distilled

回答前会在明确的思考块里推理，用约 8k 条 Claude Opus 4.7 的推理轨迹调优。这是 35B 混合专家的 Qwen3.6 变体，适合困难的数学、科学、代码和规划。

由 lordx64 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Qwen3.6-35B-A3B 的一个社区微调版本，学会了用 Claude Opus 4.7 的风格推理。作者用该模型产生的约 7,800 条推理对话训练它，所以它会在 think 标签里写出自己的思考，再给出最终回答。它不是 Anthropic 发布的。

适合谁：运行自己的模型来做困难推理的人，比如研究生水平的科学题、竞赛数学、代码走查、逻辑谜题和智能体规划。想要开放权重而不是专有 API 的人适合它。

Industry | Who uses it | How they use it | Example
教育 | 数学和科学专业的学生 | 在可见的推理下解决困难问题 | 一道竞赛题的分步解答
软件 | 开发者 | 请它带着明确的走查来推理代码 | 追踪一个函数为什么失败
研究 | AI 研究人员 | 研究把推理蒸馏进开放模型 | 与它的基础模型做比较
智能体开发 | 智能体开发者 | 规划思考能提高准确率的多步任务 | 先推理再选择工具的规划器

如果你需要快速、简短的聊天回复，可以跳过它，因为思考可能长达数千个词元。

用在哪里：

• 使用 transformers 库的 Python
• vLLM，作者推荐用它来部署
• LM Studio 和 llama.cpp，通过单独的 GGUF 副本
• 80 GB 的 GPU，比如 A100 或 H100，用于完整的 bf16

Use case | Who | What they get back
困难的推理问题 | 学生和研究人员 | 一个很长的思考块，然后是最终回答
部署开放的推理模型 | 开发者 | 流式输出推理和回答的端点
本地聊天 | 爱好者 | LM Studio 里的量化副本

如何设置：

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包，以及运行它用的 transformers 或 vLLM
• BF16 权重约 71.9 GB，按 Hugging Face 的估算 4 位约 18 GB

1. 安装 Hugging Face 客户端。
2. 把模型文件下载到你的电脑。
3. 用 transformers 加载模型，或者用 vLLM 部署它。

pip install -U huggingface_hub
hf download lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled

如何使用：发送一条聊天消息，让模型先把思考完成再回答。想缩短输出，就调低 max_new_tokens。如果你的应用只显示回答，之后再去掉思考块。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
    repo, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True,
)

messages = [{"role": "user", "content": "How many positive integers less than 1000 have digits that sum to 20?"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=32768, do_sample=False)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))

要部署它，模型卡推荐 vLLM。

vllm serve lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled \
  --dtype bfloat16 --max-model-len 65536 --gpu-memory-utilization 0.9

Tool | What it does
transformers | 加载模型并运行生成
vllm serve | 用连续批处理来部署模型
max_new_tokens | 限制思考和回答最长能运行多久
GGUF copies | 供 LM Studio 和 llama.cpp 使用的量化文件

示例：你问有多少个三位数的各位数字之和是 15。模型写出一个很长的思考块，把各种情况过一遍，然后给出一个简短的最终回答。在相信这个数字之前，你可以检查它展示的步骤。

新手与专家：如果你是新手，先在 LM Studio 里试一个量化的 GGUF 副本，因为它需要的内存少得多。问一个简短的数学题，看思考在回答之前出现。

如果你熟悉这个领域：基础模型有 256 个专家，其中 8 个路由、1 个共享，每个词元约 3B 参数处于活跃状态。LoRA 微调只针对注意力投影，并且只在助手词元上计算损失，思考块也包括在内。

Claude Opus 4.7 推理轨迹
在 Qwen3.6-35B-A3B 上做 SFT
先思考块再回答
64k 上下文

注意事项：作者在单独的仓库里列出了三种 GGUF 尺寸，从小巧的默认选择到近乎无损的版本。LoRA 适配器也单独发布。

Title: GGUF 文件大小，单位 GB
IQ4_XS: 18.9 GB
Q5_K_M: 25 GB
Q8_0: 35 GB

• Context: 64k 词元，困难问题上的思考常常有 5k 到 30k 个词元
• Training data: 来自 Claude Opus 4.7 的约 7,800 条对话，重新整理后用于微调
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载到你电脑上的模型文件，未提及其他
• Not for: 对延迟敏感的简短聊天，因为思考预算可能很大

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：36B
• Weights: about 71.9 GB in BF16; about 18 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：674
• 点赞：206
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.6-35B-A3B
• Quantized versions: 47
• Fine-tunes: 5
• 标签：transformers, safetensors, qwen3_5_moe, image-text-to-text, text-generation, reasoning, distillation, chain-of-thought, qwen, qwen3.6, mixture-of-experts, lora

链接

• 模型：https://huggingface.co/lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled
• 文件：https://huggingface.co/lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。