Qwen3.5-4B-Judge-1M

Qwen3.5-4B-Judge-1M

返回校准概率的小型裁判模型，判断回复是否有来源支撑、文本是否不安全，以及属于哪个任务或领域。适合给 AI 流程加检查的开发者。

由 MaziyarPanahi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个 4B 的裁判模型，针对文本回答简短的检查问题，而不是写长文。它能判断一条回复是否有给定来源支撑，一个请求或回复是否不安全，以及一段文本属于哪个任务或领域。对每个选项，它都会返回一个经过校准的概率。

适合谁：适合需要在 AI 流程里放一个小而便宜的检查器的开发者，比如必须抓出无依据说法的检索式聊天机器人。

Industry | Who uses it | How they use it | Example
软件 | AI 应用开发者 | 对照检索到的文档检查回复 | 标出来源不支持的回答
信任与安全 | 审核团队 | 筛查请求和回复里的不安全内容 | 在消息到达用户前给它打分
客户支持 | 支持平台团队 | 按领域或意图分流对话 | 把银行问题送到正确的队列

如果你需要自由文本回答、医疗决策或决定调用工具的模型，可以跳过。

用在哪里：它通过 Unsloth 在你自己的机器上用 Python 运行，基础模型来自 Qwen 团队，上面加一个 LoRA 适配器。

• 使用 Unsloth 决策模型类的 Python 脚本
• 需要带概率的是非式判断的流程
• Windows、macOS 或 Linux，只要有 Python 和合适的 GPU

Use case | Who | What they get back
检查说法是否有依据 | RAG 开发者 | 每条说法都有上下文支撑的概率
安全筛查 | 平台团队 | 请求或回复不安全的概率
领域分流 | 支持团队 | 每个领域或任务选项的概率

如何设置：你需要 Python、Hugging Face 工具和 Unsloth 库。代码按仓库名加载模型，最大序列长度为 4096。

• Python
• Unsloth 库，它提供决策模型类
• 能放下 4B 模型的磁盘和 GPU 内存

1. 安装 Hugging Face 下载工具。
2. 下载适配器文件，或者让脚本按名称获取。
3. 用你自己的文本和问题运行下面的使用脚本。

pip install -U huggingface_hub
hf download MaziyarPanahi/Qwen3.5-4B-Judge-1M

如何使用：你构造一个带说明和判断标准的问题，把文本放进状态字符串，然后调用 predict。结果是每个选项的概率。模型最多读取 4096 个 token。

from unsloth import FastDecisionModel

model, tokenizer = FastDecisionModel.from_pretrained("MaziyarPanahi/Qwen3.5-4B-Judge-1M", max_seq_length=4096, load_in_4bit=False)
FastDecisionModel.for_inference(model)
question = {"decision": {"type": "choice",
    "instructions": "Is every factual claim in `assistant_response` supported by `authoritative_context`?",
    "criteria": {"true": "Every factual claim in the response is supported by the context.",
                 "false": "The response contains at least one unsupported or contradicted claim."}}}
state = '{"authoritative_context": "The clinic opens at 8 a.m. on weekdays and is closed on Sundays.", '\
        '"assistant_response": "The clinic is open every day from 8 a.m."}'
print(FastDecisionModel.predict(model, tokenizer, state, question))

Tool | What it does
FastDecisionModel.from_pretrained | 加载模型和分词器
FastDecisionModel.for_inference | 让模型准备好做预测
FastDecisionModel.predict | 返回每个选项的概率

示例：你给它一份诊所通知，说工作日早上 8 点开门、周日关门，再给一条声称每天都营业的回复。用这个支撑性问题，它会返回 true 和 false 各自的概率，false 一侧的分数应该较高。

新手与专家：如果你是新手，可以把它想成一位裁判，读一段文本和一个问题，然后报告它对每个答案有多确定。运行上面的例子，看看那两个概率。

如果你熟悉这个领域，它是带 Unsloth 决策头的 Qwen3.5-4B，是秩为 16 的 LoRA，用 OpenDecisionMix-1M 中 39,592 行带来源标签的决策训练而成。它用 400 行留出数据做了校准。模型卡指出，测试行和训练行出处相同。

你的文本和一个问题
决策头读取状态
每个选项的校准概率
你自己设定阈值

注意事项：在 6,035 行的测试上，它在 RAG 加安全任务上与早期的裁判持平，模型卡建议按你自己的数据调整阈值。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要能运行 4B 模型的 GPU
• Data it reaches: 你在自己机器上传入的文本，以及从 Hugging Face 下载的文件
• Not for: 临床用途或任何关于患者的决定，决定何时调用工具，以及超过 4,096 个 token 的输入

Title: RAG 加安全任务的准确率
This model: 89.5 %
Earlier Judge: 89.4 %
Jev 1.14: 82.2 %

Hugging Face 上的数据（2026年11月13日）

• 框架：peft
• Formats: Safetensors
• 最近 30 天下载：29
• 点赞：3
• 许可证：apache-2.0
• 基于：unsloth/Qwen3.5-4B
• 标签：peft, safetensors, unsloth, decision-model, llm-judge, hallucination-detection, safety

链接

• 模型：https://huggingface.co/MaziyarPanahi/Qwen3.5-4B-Judge-1M
• 文件：https://huggingface.co/MaziyarPanahi/Qwen3.5-4B-Judge-1M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download MaziyarPanahi/Qwen3.5-4B-Judge-1M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。