Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

由 Jackrong 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个基于 Qwen3.5-4B 的小型推理模型的 GGUF 版本。作者用主要来自 Claude-4.6 Opus 交互的推理链对它做了微调，所以它在回答前会在 think 标签里分步骤规划。它只处理文字。

适合谁：想要在自己电脑上运行、会展示推理过程的小模型的人，以及想了解这类微调是怎么做的学习者。

Industry | Who uses it | How they use it | Example
教育 | 学生 | 请它给数学或科学问题写出分步解答 | 一道物理题，步骤清楚地列出来
软件 | 开发者 | 运行小型本地模型做规划和分析 | 在写代码前把任务拆成几部分
研究 | 爱好者 | 研究推理蒸馏如何改变一个小模型 | 把它的思考与基础模型比较
写作 | 分析师 | 起草前先把论点想清楚 | 一份计划的约束条件和边界情况清单

如果你需要图像输入，可以跳过它，因为最终模型只处理文字。

用在哪里：

• 你自己的电脑，在 Windows、macOS 或 Linux 上，由 Python 获取文件之后
• 能打开 GGUF 文件的本地运行器

Use case | Who | What they get back
分步解题 | 学生 | think 标签里的推理过程，然后是答案
任务规划 | 开发者 | 一份列出目标、部分、约束和检查的计划
训练研究 | 学习者 | 一个作者记录了微调过程的模型

如何设置：你需要装有 pip 的 Python、一个能运行 GGUF 文件的本地运行器，以及按记录估计 4-bit 约 2.1 GB 的磁盘空间。

• Python 和 pip
• 能打开 GGUF 文件的运行器
• 4-bit 文件约 2.1 GB 的磁盘空间

1. 安装 Hugging Face hub 工具。
2. 下载仓库的文件。
3. 在运行器里打开一个 GGUF 文件。

pip install -U huggingface_hub
hf download Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

如何使用：在运行器里和它聊天，给它适合分步骤思考的问题。模型先在 think 标签里写出思考，然后给出最终解答。

hf download Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Tool | What it does
hf download | 把这个仓库的文件复制到你的电脑
think tags | 在答案之前存放模型一步步的推理

示例：你让它规划如何解一道应用题。它先写一段简短的分析，指出目标、拆分任务、检查约束和边界情况，然后给出解答。

新手与专家：如果你是新手，加载文件，问一道数学题，留意答案之前的思考部分。

如果你熟悉这个领域，作者用的是监督微调加 LoRA，损失只作用于助手的思考和回复。模型卡说后来加入了来自更大的 Qwen3.5 模型的数据，补充了科学、指令遵循和数学推理。它的目标是减少简单问题上的重复循环。

从 Qwen3.5-4B 出发
用 LoRA 做监督微调
在结构化推理链上训练
把结果打包成 GGUF

注意事项：模型卡关于效率的说法，这个页面无法证实。依赖它之前，先用你自己的问题测试。

• Languages: 列出了英文、中文和韩文
• Training material: 作者发布了微调过程的笔记本、代码和指南
• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 你从 Hugging Face 下载的文件，以及你交给本地运行器的文字
• Not for: 图像输入，因为最终模型只处理文字

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：4.2B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：39,987
• 点赞：188
• 许可证：apache-2.0
• 语言：en, zh, ko
• 基于：Qwen/Qwen3.5-4B
• 标签：gguf, qwen3_5, unsloth, qwen, qwen3.5, reasoning, chain-of-thought, lora, text-generation, conversational

链接

• 模型：https://huggingface.co/Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
• 文件：https://huggingface.co/Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。