Qwen3.5-4B-Router-1M

Qwen3.5-4B-Router-1M

返回校准概率的小型决策模型，判断智能体下一步该做什么以及该调用哪个工具。适合构建智能体和客服机器人的开发者。

由 MaziyarPanahi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个 4B 模型决定 AI 智能体下一步该做什么，以及该调用哪个工具。它不写自由文本，而是为每个选项给出一个校准过的概率。它的基础是带 Unsloth 决策头的 Qwen3.5-4B，学习了 17,600 行带标签的数据。

适合谁：适合构建智能体或客服机器人，并想用小型本地模型来选择下一步或合适工具的开发者。

Industry | Who uses it | How they use it | Example
软件 | 智能体开发者 | 在智能体循环中选择下一步动作 | 在直接回答和调用工具之间做选择
客户支持 | 支持平台团队 | 把客户路由到合适的工具或真人 | 把请求转给人工客服
电商 | 服务台开发者 | 为客户问题选择查询工具 | 调用订单状态工具

如果你需要评判整段智能体轨迹、自由文本回复或临床智能体的模型，可以跳过。

用在哪里：它通过 Unsloth 在你自己的机器上以 Python 代码运行，是挂在 Qwen3.5-4B 上的 LoRA 适配器。

• 使用 Unsloth 决策模型类的 Python 脚本
• 需要在多个工具间排序选择的智能体循环
• 带合适 GPU 的 Windows、macOS 或 Linux

Use case | Who | What they get back
选择下一步动作 | 智能体开发者 | 每个可能的下一步的概率
选择工具 | 客服机器人开发者 | 每个可用工具的概率
转人工 | 服务团队 | 把请求转给真人的信号

如何设置：你需要 Python、Hugging Face 工具和 Unsloth 库。示例代码按仓库名加载模型。

• Python
• Unsloth 库
• 能放下 4B 模型的磁盘和 GPU 内存

1. 安装 Hugging Face 下载工具。
2. 下载适配器文件，或者让脚本按名称获取。
3. 在问题里描述你的工具，把对话放进状态字符串，再调用 predict。

pip install -U huggingface_hub
hf download MaziyarPanahi/Qwen3.5-4B-Router-1M

如何使用：写一个把每个工具列为选项的问题，把可用工具和对话加进状态，然后调用 predict。你会得到每个选项的概率，所以可以自己设定置信度阈值。

from unsloth import FastDecisionModel

model, tokenizer = FastDecisionModel.from_pretrained("MaziyarPanahi/Qwen3.5-4B-Router-1M", max_seq_length=4096, load_in_4bit=False)
FastDecisionModel.for_inference(model)
question = {"decision": {"type": "choice",
    "instructions": "Which available tool should be called next?",
    "criteria": {"get_order_status": "Call `get_order_status`.",
                 "transfer_to_human_agent": "Call `transfer_to_human_agent`."}}}
state = '{"available_tools": [{"name": "get_order_status"}, {"name": "transfer_to_human_agent"}], '\
        '"conversation": [{"role": "user", "content": "I would like to speak to a person please."}]}'
print(FastDecisionModel.predict(model, tokenizer, state, question))

Tool | What it does
FastDecisionModel.from_pretrained | 加载模型和分词器
FastDecisionModel.for_inference | 让模型准备好做预测
FastDecisionModel.predict | 返回每个选项的概率

示例：一位客户写道想和真人说话。提供两个工具，一个订单状态查询和一个转人工，模型会为每个返回一个概率，转人工选项应该排在前面。

新手与专家：如果你是新手，可以把它想成智能体的路标，指出下一步该怎么走。运行示例，看看它如何针对一条消息给两个工具打分。

如果你熟悉这个领域，它是秩为 16 的 LoRA，在四个公开决策数据集上只用它们的来源标签训练，没有用早先的 Jev 答案。在 480 行留出数据上，它总体比 Jev 1.13 高 5.8 个百分点。标签记录的是来源轨迹下一步做了什么，所以请把分数看作与来源的一致程度。

对话和工具列表
决策头读取状态
每个工具或动作的概率
选择最高的，或自己设阈值

注意事项：测试涵盖四个任务族，每个 120 行。训练因时间预算而提前结束。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要能运行 4B 模型的 GPU
• Data it reaches: 你在自己机器上传入的对话文本，以及从 Hugging Face 下载的文件
• Not for: 临床智能体或任何关于患者的决定，评判整段轨迹，以及超过 4,096 个 token 的输入

Title: 480 行测试数据上的总体准确率
This model: 86.5 %
Jev 1.13: 80.6 %

Hugging Face 上的数据（2026年11月13日）

• 框架：peft
• Formats: Safetensors
• 最近 30 天下载：47
• 点赞：3
• 许可证：apache-2.0
• 基于：unsloth/Qwen3.5-4B
• 标签：peft, safetensors, unsloth, decision-model, tool-routing, agents

链接

• 模型：https://huggingface.co/MaziyarPanahi/Qwen3.5-4B-Router-1M
• 文件：https://huggingface.co/MaziyarPanahi/Qwen3.5-4B-Router-1M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download MaziyarPanahi/Qwen3.5-4B-Router-1M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。