Torchcast Decision 4B

Torchcast Decision 4B

基于 Qwen3.5-4B 的 4B 决策模型，一次推理就返回是非概率、选项分布和分数分布，不生成文本。适合英文分类、路由和评分标准检查。

由 torchcast-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Torchcast Decision 4B 是 Torchcast AI 推出的决策模型，基于 Qwen3.5-4B 构建。它返回是非问题的概率、选项上的分布，以及有序分数上的分布。每次决策在一次前向推理里读取答案选项，不生成任何文本。这是 1.3.1 版本。

适合谁：需要输出概率的快速分类器的开发者，用于英文文本的分类、路由和有边界的评分标准评估。

行业 | 谁在用 | 怎么用 | 例子
AI 工程 | 构建路由器的团队 | 从一组选项里选出路线 | 选择一条消息进入哪个队列
评估 | 给模型输出打分的人 | 按评分标准给回答打分 | 为一条回复返回分数分布
运维 | 对文本分类的团队 | 回答关于文本的是非问题 | 标记一张工单是否需要升级

如果你需要它去执行动作，可以跳过它，因为服务器只返回决策，不执行动作。它也只针对英文文本调过。

用在哪里：

• 自带的 torchcast_decision 服务包，配合它的 decision_config.json
• GPU 服务器，因为模型卡给出的耗时是在一块 A40 上测的
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 适合谁 | 得到什么
是非决策 | 开发者 | 是和否各自的概率
在选项里选择 | 路由器开发者 | 各选项上的分布
打分问题 | 评估人员 | 有序量表上的分布

如何设置：使用自带的服务包和它的配置文件。模型卡提醒，通用的文本生成示例和 vLLM、llama.cpp、MLX 这类因果注意力运行时，无法复现评测时的行为。它的服务说明在项目的代码仓库里。

• Python 和 pip
• 运行自带服务器用的 GPU
• 这个仓库里的 torchcast_decision 包和 decision_config.json

1. 下载仓库文件。
2. 按项目代码仓库里的服务说明操作。
3. 用自带的设置启动自带的服务器。

pip install -U huggingface_hub
hf download torchcast-ai/torchcast-decision-4b

如何使用：你把问题和选项发给已启动的模型，读取返回的概率。超过 16,384 token 的提示词会保留开头和结尾。服务器以 JSON 返回错误，GPU 显存不足时状态码为 503。

示例：你发送问题“Does this ticket need a human?”，选项是 yes 和 no。服务器为每个选项返回一个概率，你的代码取较高的那个。

新手与专家：如果你是新手，可以把它看作给出赔率而不是句子的评判者。先问一个是非问题，读完两个概率，再在上面搭路由。

对专家来说，全注意力层在两个方向上读整个提示词，所以用普通的 transformers 加载权重会得到不同的概率。1.3 版是对 Qwen3.5-4B 的一次新的完整微调。借助 CUDA graphs，1.3 版在一块 A40 上处理每个请求的中位时间，大约是 1.2 版的一半。

问题和选项
一次前向推理，不生成
每个选项的概率

注意事项：

Title: 模型卡中列出的 JevBench 综合分
Torchcast Decision 4B v1.3: 76.16
H2O-Lightning-4B v1.1: 73.78
Torchcast Decision 4B v1.2: 73.00

• Results: 数字由排行榜维护者测得，模型卡称分数可能会重新排位
• Limits: 在新领域上概率可能不可靠
• Language: 英文
• License: Apache 2.0，而更早的版本保留非商业许可
• Cost to run: 没有提到 API 密钥或付费服务，但需要 GPU
• Data it reaches: 从 Hugging Face 下载文件，没有提到其他内容
• Not for: 执行动作、其他语言，或在通用运行时里加载

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：5.2B
• Weights: about 10.3 GB in BF16; about 2.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,434
• 点赞：10
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.5-4B
• Quantized versions: 1
• Fine-tunes: 4
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, typed-decisions, jevbench, conversational

链接

• 模型：https://huggingface.co/torchcast-ai/torchcast-decision-4b
• 文件：https://huggingface.co/torchcast-ai/torchcast-decision-4b/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download torchcast-ai/torchcast-decision-4b

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。