d3-flash

d3-flash

一个 9B 模型，一次调用就能回答关于文字、图像或视频的多个选择、是非和打分问题，并为每个答案返回概率而不是生成文字。适合路由和决策任务。

由 vllm-sr 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：d3-flash 是 Decision 3.0 的 9B 多模态决策模型，为 vLLM Semantic Router 而做。你给它一个输入和一组问题，它一次调用就回答全部问题。每个答案都以每个选项的概率返回，不生成任何文字。

适合谁：适合需要自动分类、检查或评分输入的开发者，比如收到的消息或带图像的文档。它适合想要快速、带分数的决策，而不是书面回复的系统。

Industry | Who uses it | How they use it | Example
客户支持 | 支持工程师 | 把每个请求路由到合适的团队并标出紧急程度 | 为一条送达破损的消息评估团队、收据和紧急程度
电商 | 订单处理团队 | 用附带的收据图像核对一项索赔 | 询问收据上是否列有这件商品
AI 基础设施 | 运行 vLLM Semantic Router 的团队 | 把它用作路由系统里的决策模型 | 把每个请求的问题发给模型，读取概率
运营 | 工作流构建者 | 把自由格式的输入变成选择、是非回答和评分 | 给一个收到的请求评估紧急程度

如果你想要书面回答、聊天或摘要，可以跳过它。它返回的是概率，不是文字。

用在哪里：

• Windows、macOS 和 Linux 上的 Python，通过 transformers 库
• vLLM Semantic Router，模型卡把它列为服务部署方式
• GPU 服务器，模型卡在一块 AMD Instinct MI325X 上测量了速度

Use case | Who | What they get back
路由一个请求 | 支持和运营团队 | 你列出的每个团队的概率
是非检查 | 开发者 | 是和否各自的概率
按等级评分 | 工作流构建者 | 你定义的每个等级的概率
关于图像或视频的问题 | 产品团队 | 考虑了附带图像或片段的回答

如何设置：你需要 Python 和下面的包。有 GPU 会更快。

• Windows、macOS 或 Linux 上的 Python
• 快速开始里的 pip 包
• 可选：flash-linear-attention，用于快速的 GPU 内核

1. 如果还没有 Python，先安装它。
2. 用下面的命令安装这些包。
3. 在你的脚本里用 transformers 加载模型。

pip install "transformers==5.17.0" torch torchvision pillow opencv-python-headless safetensors accelerate
pip install flash-linear-attention  # optional: fast GPU kernels for the linear-attention layers

pip install -U huggingface_hub
hf download vllm-sr/d3-flash

如何使用：加载模型，然后调用 system_one，把输入作为 state，再传一个 questions 字典。每个问题有 type、instructions 和 criteria。结果里包含各个答案及其概率。

import json

from huggingface_hub import hf_hub_download
from transformers import AutoModel

model = AutoModel.from_pretrained("vllm-sr/d3-flash", trust_remote_code=True)

# Text
result = model.system_one(
    state="The order arrived damaged yesterday. The customer has a receipt and asks for a replacement today.",
    questions={
        "route": {
            "type": "choice",
            "instructions": "Which team should handle this request?",
            "criteria": {
                "returns": "Refunds, replacements and damaged deliveries",
                "billing": "Payments, invoices and charges",
                "technical": "Product setup and faults"
            }
        },
        "receipt": {
            "type": "noul",
            "instructions": "Does the customer have a receipt?"
        },
        "urgency": {
            "type": "score",
            "instructions": "How urgent is this request?",
            "criteria": [
                "Routine",
                "Soon",
                "Today"
            ]
        }
    },
)
print(json.dumps(result["answers"], indent=2))

要加入图像，把它们放进 images 列表，格式可以是路径、URL、PIL 图像或 base64 数据 URL。视频可以用路径、URL、base64 数据 URL 或帧数组提供。

Tool | What it does
system_one | 一次调用回答关于同一个输入的所有问题
choice 问题 | 在你用 criteria 描述的选项中挑选
是非问题 | 返回两边各自的概率
score 问题 | 按你列出的等级给输入评分

示例：你发送一条消息，说送达的订单是破损的，客户有收据，并附上三个问题。一个问该由哪个团队处理，一个问收据，一个评估紧急程度。返回的是每个问题各个选项的概率。

新手与专家：你可以把它看成一个快速分拣器。你给它一些要看的内容和几个答案固定的问题，它告诉你每个答案的可能性有多大。先运行文字示例，再读打印出来的答案。

这个模型有 8.39B 参数，其中包括一个 0.46B 的视觉编码器。每个问题都由对输入的单独一次前向传播来回答，所以不需要生成文字。模型卡报告，在一块 AMD Instinct MI325X 上，文字请求的中位延迟为 19.2 ms，带图像的为 166 ms，带 10 秒视频的为 371 ms。视频按每秒 2 帧读取。

发送文字、JSON、图像或视频
加入选择、是非和打分问题
一次调用对每个问题做一次前向传播
得到每个答案的概率

Title: 一块 AMD Instinct MI325X 上的中位延迟，单位毫秒
文字请求: 19.2 ms
带图像的请求: 166 ms
带 10 秒视频的请求: 371 ms

注意事项：

• 图像可以是 PNG、JPEG 或 WebP，视频可以是 MP4、WebM、MOV 或 MKV，每个请求可以有多个。
• 加载时使用 trust_remote_code，它会运行随模型提供的代码，所以请先阅读。
• 配合 vLLM Semantic Router，模型卡报告在一块 MI325X 上每秒 95 个请求。
• License: Apache-2.0。
• Cost to run: 未提及。模型卡列有免费演示，并用 AMD GPU 做自己的计时。
• Data it reaches: 来自 Hugging Face 的文件，以及你传入的任何文字、图像、视频或 URL。
• Not for: 写文字，因为它返回概率而不生成文字。

Hugging Face 上的数据（2026年11月13日）

• 任务：zero shot classification
• 框架：transformers
• 参数量：8.4B
• Weights: about 16.8 GB in BF16; about 4.2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：103,577
• 点赞：114
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-9B
• Quantized versions: 17
• Fine-tunes: 15
• 标签：transformers, safetensors, qwen3_5, feature-extraction, zero-shot-classification, decision-model, classification, system-one, multimodal, vision, video

链接

• 模型：https://huggingface.co/vllm-sr/d3-flash
• 文件：https://huggingface.co/vllm-sr/d3-flash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download vllm-sr/d3-flash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。