d3-edge

d3-edge

在一次调用中回答关于文字、图片或视频的选择题、是非题和打分题，并为每个答案返回概率。适合做路由和分诊的工程师使用的小型决策模型。

由 vllm-sr 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：d3-edge 是一个约 0.59B 参数的小型决策模型，其中包含 0.10B 的视觉编码器，基于 Qwen3.5-0.8B，由 vllm-sr 作为 vLLM Semantic Router 的 Decision 3.0 的一部分发布。你给它文字或 JSON，有的话再加上图片或视频片段，并附上它要回答的问题。它不生成文字：一次调用就为每个可能的答案返回一个概率。

适合谁：它适合构建路由、审核或分诊环节、想用一个快速模型对输入分类的工程师，也适合已经在运行 vLLM Semantic Router 的团队。

行业 | 使用者 | 用法 | 例子
客户支持 | 支持团队 | 把消息路由给合适的团队并评估紧急程度 | 为一个请求选择退货、账单或技术
零售 | 运营团队 | 针对一个问题检查上传的照片 | 询问收据图片里是否列有某件商品
平台工程 | 路由工程师 | 给模型路由器加入一个决策步骤 | 在选择由哪个模型处理之前先给提示词打分

需要能写文字或聊天的模型的人可以跳过，因为它只给答案打分。

用在哪里：

• 使用 Transformers 的 Python，按名称加载模型
• vLLM Semantic Router，它属于这个路由器的决策模型
• Hugging Face，官方 Space 提供免费试用
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
路由请求 | 支持团队 | 每个团队选项的概率
是非检查 | 开发者 | 是和否各自的概率
给输入评分 | 分析师 | 量表上每个分值的概率

如何设置：

• 装有 pip 的 Python
• Transformers 5.17.0，外加 torch、torchvision、pillow、opencv-python-headless、safetensors 和 accelerate
• 可选的 flash-linear-attention，为线性注意力层提供更快的 GPU 内核
• 一块能保证速度的 GPU，有放下约 1.2 GB BF16 权重的空间

1. 用 pip 安装这些软件包。
2. 可选地加装 flash-linear-attention。
3. 用 Transformers 加载模型，并允许它的远程代码。
4. 用你的输入和问题调用模型。

pip install "transformers==5.17.0" torch torchvision pillow opencv-python-headless safetensors accelerate
pip install flash-linear-attention  # optional: fast GPU kernels for the linear-attention layers

pip install -U huggingface_hub
hf download vllm-sr/d3-edge

如何使用：加载模型，然后调用它的 system_one 方法，把你的输入作为 state，再传入一组问题。每个问题有类型、说明，选择题和打分题还有供挑选的标准。答案以概率的形式返回。

from transformers import AutoModel

model = AutoModel.from_pretrained("vllm-sr/d3-edge", trust_remote_code=True)

问题类型 | 回答什么
Choice | 在你列出的选项里挑一个
Yes / No | 对一个问题回答是或否
Score | 按你定义的量表给输入评分

示例：你发送一条关于搅拌机裂开的客服消息，并附上收据照片。你问该由哪个团队处理、收据上是否列有这件商品，以及有多紧急。模型会返回每个团队、是和否、以及每个紧急等级的概率。

新手与专家：零样本分类是指提问时再说出类别，而不是先训练一个分类器。先用纯文字的例子，再加入图片。

关于同一个输入的问题在一次调用里回答，不过每个问题都会各自对输入做一次前向计算。图片可以是 PNG、JPEG 或 WebP，视频可以是 MP4、WebM、MOV 或 MKV，按每秒 2 帧读取。配合 vLLM Semantic Router，模型卡测得每秒 861 个请求，约为普通 AutoModel 的 6.1 倍，使用的是单块 AMD Instinct MI325X GPU。

提供文字、JSON、图片或视频
加上你的问题
一次调用运行模型
每个答案返回一个概率
你的应用按最可能的答案行动

Title: 中位响应时间，单位毫秒
Text request: 6.6 ms
Request with an image: 58.6 ms
Request with a 10-second video: 274 ms

Title: 官方文本榜单上的 Jev Decision Index
Decision 2.0 0.6B: 13.6
d3-edge: 20.2

注意事项：

• 规模：约 0.59B 参数，记录里约为 1.2 GB 的 BF16
• 得分：在 Jev Decision Index 0.3.2 文本榜单上为 20.2，在相近规模的参赛者中排第二，作者自己的视频测试为 46.6
• 速度：所有耗时都在单块 AMD Instinct MI325X GPU 上测得，逐个处理请求
• 远程代码：示例用 trust_remote_code 加载模型，这会运行模型仓库里的代码
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你传入的文字、图片和视频，而 pip 会从网络获取软件包
• Not for: 写作或聊天，因为它返回的是概率而不是文字

Hugging Face 上的数据（2026年11月13日）

• 任务：zero shot classification
• 框架：transformers
• 参数量：594M
• Weights: about 1.2 GB in BF16; about 297 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：5,937
• 点赞：59
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.5-0.8B
• Quantized versions: 9
• Fine-tunes: 5
• 标签：transformers, safetensors, qwen3_5, feature-extraction, zero-shot-classification, decision-model, classification, system-one, multimodal, vision, video

链接

• 模型：https://huggingface.co/vllm-sr/d3-edge
• 文件：https://huggingface.co/vllm-sr/d3-edge/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download vllm-sr/d3-edge

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。