d3-mini

d3-mini

一次调用就能回答关于文本、图片和视频的选择题、是非题和打分题，并为每个答案返回概率，而不是生成文字。适合需要给请求分流或分类的开发者。

由 vllm-sr 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：d3-mini 是 vllm-sr 推出的决策模型，基于 Qwen/Qwen3.5-4B 构建，属于 Decision 3.0。你给它一份输入和一组问题，它会为每个可能的答案返回一个概率，不会回写文字。

适合谁：需要对杂乱输入快速得到结构化判断的开发者，比如这条消息该交给哪个团队，或者有多紧急。输入可以是文本或 JSON，还可以附上图片和视频。

Title: 谁在用，怎么用
Industry | Who uses it | How they use it | Example
客户支持 | 支持工程师 | 把每条进来的消息连同团队、收据和紧急程度的问题一起发给它 | 一条送达时损坏的消息会得到负责团队和紧急程度的评分
电商 | 店铺开发者 | 附上收据图片，问上面列了什么 | 把碎裂搅拌机的照片和收据与订单对照检查
软件 | 后端开发者 | 把模型放在路由器后面，为每个请求选择去向 | 请求按最高概率被送往退货、账单或技术团队
评测 | 模型研究人员 | 对比它和更早的 Decision 模型的决策质量 | 用同样的问题跑两个版本，再对比概率

如果你想要一个能写回复的聊天模型，可以跳过它，因为它只会为你给出的选项打分。

用在哪里：

• 通过 transformers 库加载它的 Python 脚本
• 带 GPU 的机器，因为卡里的速度数据来自一块 AMD Instinct MI325X
• vLLM Semantic Router，用来同时服务很多请求
• Windows、macOS 或 Linux，用于下载文件

Title: 你会得到什么
Use case | Who | What they get back
分流 | 支持和运营团队 | 你列出的每个团队各有一个概率
是非判断 | 开发者 | 是和否各有一个概率
打分 | 分析师 | 你定义的量表上每一档各有一个概率

如何设置：你需要 Python 和 pip，以及足够放权重的磁盘空间。Hugging Face 列出的大小为 BF16 约 9.1 GB，4-bit 约 2.3 GB（估计值）。

• 带 pip 的 Python
• 建议使用 GPU，因为卡里的速度数据来自 GPU
• 卡里指定的 transformers 版本

1. 安装卡里列出的库。
2. 可选：再装上提供线性注意力 GPU 快速内核的包。
3. 在 Python 里加载模型，并允许远程代码。

pip install "transformers==5.17.0" torch torchvision pillow opencv-python-headless safetensors accelerate
pip install flash-linear-attention  # optional: fast GPU kernels for the linear-attention layers

from transformers import AutoModel

model = AutoModel.from_pretrained("vllm-sr/d3-mini", trust_remote_code=True)

如何使用：先加载一次模型，再调用它的 system_one 方法，传入输入文本、图片和一个问题字典。每个问题包含类型、说明和要权衡的选项。

Tool | What it does
AutoModel.from_pretrained | 从 Hugging Face 仓库加载模型
system_one | 一次调用就回答你关于同一份输入的所有问题
choice question | 在你描述的选项里选择，并给每个选项一个概率
score question | 在你定义的量表上给输入打分

示例：你传入一条说搅拌机送达时碎裂的消息，再加上收据图片。你问它该由哪个团队处理，收据上有没有这台搅拌机，订单是怎么付款的。每个问题的每个选项都会得到一个概率。

新手与专家：如果你是新手，可以把它看成一个很快的分拣器，而不是聊天机器人。你描述选项，给它一条消息或一张图片，它告诉你每个选项的可能性有多大。先从卡里只有文本的示例开始。

从内部看，它是一个 4.54B 参数的模型，含一个 0.33B 的视觉编码器。每个问题都会对输入单独做一次前向计算，所以关于同一份输入的多个问题可以一起回答。视频按每秒 2 帧读取。据卡里所说，在 vLLM Semantic Router 中批处理使吞吐量达到 AutoModel 的 2.7 倍。

发送文本、图片或视频
加上你的问题和选项
每个问题单独计算一次
读取每个选项的概率

注意事项：

Title: 一块 AMD Instinct MI325X 上每个请求的中位耗时
文本请求: 18.1 ms
带图片的请求: 112 ms
带 10 秒视频的请求: 336 ms

• License: Apache 2.0
• Cost to run: 没有列出费用，不过卡里的数据来自 GPU
• Data it reaches: 你传入的任何输入，包括文件、链接或 base64 图片，另外它会从自己的仓库加载远程代码
• Not for: 写文字，因为它只为你定义的答案返回概率
• 卡里报告在 Jev Decision Index 0.3.2 官方文本榜上得分 52.6

Hugging Face 上的数据（2026年11月13日）

• 任务：zero shot classification
• 框架：transformers
• 参数量：4.5B
• Weights: about 9.1 GB in BF16; about 2.3 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：53,115
• 点赞：75
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 11
• Fine-tunes: 16
• 标签：transformers, safetensors, qwen3_5, feature-extraction, zero-shot-classification, decision-model, classification, system-one, multimodal, vision, video

链接

• 模型：https://huggingface.co/vllm-sr/d3-mini
• 文件：https://huggingface.co/vllm-sr/d3-mini/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download vllm-sr/d3-mini

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。