d3

d3

用一次调用回答关于文字、图像或视频的选择、是非和打分问题，为每个答案返回概率而不是文字。这是 27B 的决策模型，适合做路由和分流的开发者。

由 vllm-sr 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：d3 是 vLLM Semantic Router 项目 Decision 3.0 系列里的 27B 决策模型。你给它一个输入，可以是文字或 JSON，也可以带图像和视频，再给出要回答的问题。它回复每个选项的概率，不写文字。

适合谁：需要快速、结构化决策的开发者，比如给请求分流、打标签或打分。

Industry | Who uses it | How they use it | Example
客户支持 | 支持团队 | 把工单分给合适的团队 | 一条货物破损的消息被分到退货组
电商 | 运营团队 | 对照订单检查收据图片 | 收据上有没有列出搅拌机
内容审核 | 信任与安全团队 | 给一个条目的紧急程度打分 | 按紧急程度排序的队列
软件 | 平台开发者 | 在请求运行前选择模型或路径 | 把简单问题交给小模型的路由器

如果你想要长篇的文字回答，可以跳过它，因为它只返回概率，不生成文字。

用在哪里：

• Python，通过 Hugging Face Transformers
• vLLM Semantic Router，模型卡说它能高速提供服务
• 带 GPU 的机器，因为模型卡的耗时数据用的是 AMD Instinct MI325X

Use case | Who | What they get back
选择题 | 开发者 | 每个选项的概率，比如退货、账单或技术
是非题 | 开发者 | 回答是和否的概率
打分题 | 开发者 | 每个等级的概率，比如日常、很快或今天

如何设置：

• 电脑上装有 Python 和 pip
• 显存足够运行 27B 模型的 GPU
• 下面给出的固定版本 transformers

1. 安装 Python 软件包。
2. 可选：为线性注意力层安装快速内核。
3. 在 Python 里加载模型并允许远程代码，这会运行模型仓库里的代码。

pip install "transformers==5.17.0" torch torchvision pillow opencv-python-headless safetensors accelerate
pip install flash-linear-attention  # optional: fast GPU kernels for the linear-attention layers

如何使用：加载模型，然后调用 system_one，把输入作为 state，把你的问题写成字典。每个问题有类型、说明和标准。结果里有各个答案和它们的概率。

import json

from huggingface_hub import hf_hub_download
from transformers import AutoModel

model = AutoModel.from_pretrained("vllm-sr/d3", trust_remote_code=True)

# Text
result = model.system_one(
    state="The order arrived damaged yesterday. The customer has a receipt and asks for a replacement today.",
    questions={
        "route": {
            "type": "choice",
            "instructions": "Which team should handle this request?",
            "criteria": {
                "returns": "Refunds, replacements and damaged deliveries",
                "billing": "Payments, invoices and charges",
                "technical": "Product setup and faults"
            }
        },
        "receipt": {
            "type": "noul",
            "instructions": "Does the customer have a receipt?"
        },
        "urgency": {
            "type": "score",
            "instructions": "How urgent is this request?",
            "criteria": [
                "Routine",
                "Soon",
                "Today"
            ]
        }
    },
)
print(json.dumps(result["answers"], indent=2))

示例：你传入一条关于搅拌机破损的客户消息，问哪个团队该处理。d3 会返回退货、账单和技术各自的概率，退货这一项应该领先。

新手与专家：如果你是新手，原样运行文字示例，读它打印出的概率。换一条消息，看哪个选项胜出。

如果你懂这个领域，模型卡说每个问题都有自己对输入的一次前向计算，所以多个问题共用一次调用。它报告在一块 AMD Instinct MI325X 上，文字请求的延迟中位数是 54.4 ms，带图像是 290 ms，带 10 秒视频是 500 ms。

文字、JSON、图像或视频
选择、是非和打分问题
每个问题一次前向计算
每个答案的概率

Title: 一块 AMD Instinct MI325X 上的延迟中位数，单位 ms
文字请求: 54.4 ms
带图像的请求: 290 ms
带 10 秒视频的请求: 500 ms

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的 GPU 硬件，模型卡说有免费试用
• Data it reaches: 你给它的文字、图像和视频
• Not for: 写文字，因为它只返回概率
• Remote code: 加载需要 trust_remote_code，所以先读一下仓库

Hugging Face 上的数据（2026年11月13日）

• 任务：zero shot classification
• 框架：transformers
• 参数量：26.1B
• Weights: about 52.2 GB in BF16; about 13 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：10,037
• 点赞：293
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• Quantized versions: 22
• Fine-tunes: 3
• 标签：transformers, safetensors, qwen3_5, feature-extraction, zero-shot-classification, decision-model, classification, system-one, multimodal, vision, video

链接

• 模型：https://huggingface.co/vllm-sr/d3
• 文件：https://huggingface.co/vllm-sr/d3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download vllm-sr/d3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。