Nimble-v4-max

Nimble-v4-max

传入上下文和带类型的问题（选择题、是非题或有序评分），为每个答案选项给出概率。这是 Qwen3.8-27B 的微调版本，适合构建分类器和决策步骤的开发者。

由 bespokelabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Nimble-v4-max 是 Bespoke Labs 推出的决策模型，基于 Qwen3.8-27B 微调而成。你给它一段上下文和带类型的问题，比如从几个选项里选一个、回答是或否，或按有序等级打分。它会为每个选项返回一个概率。本页介绍 4.1 版本，它替代 4.0，接受相同的请求。

适合谁：它适合构建分类器、路由或评分步骤的开发者，他们想要概率而不是自由文本。需要为每个答案选项给出校准置信度的团队也能用上它。

Industry | Who uses it | How they use it | Example
客户支持 | 聊天系统开发者 | 把客户消息归入某个意图 | 每个可能的意图都有自己的概率
研究 | 机器学习研究者 | 给选择题的答案打分 | 每个选项都带着一个概率返回
产品团队 | 审核或分流步骤的构建者 | 对一段文本提出是非问题 | 答案里带有是和否各自的概率

如果你想要自由文本，可以跳过它，因为把它当普通聊天模型加载，无法复现它的答案。

用在哪里：

• 装有 transformers 库的 Python
• 一块 80 GB 或更大显存的 GPU，用于 BF16 权重
• Windows、macOS 或 Linux，用来从 Hugging Face 下载文件
• 你自己的流水线，通过 Bespoke Labs 发布的推理代码使用

Use case | Who | What they get back
意图分类 | 开发者 | 每个意图标签的概率
多选和是非问题 | 分析师 | 每个选项的概率
基准式推理检查 | 研究者 | 一组排好序的答案选项

如何设置：你需要 Python、一块大显存 GPU 和已发布的推理代码。

• 装有 huggingface_hub 包的 Python
• 一块 80 GB 或更大的 GPU，因为 BF16 权重大约需要 55 GB
• 来自该模型结果数据集的推理代码，在它的 code/nimble 文件夹里

1. 用 Python 安装 Hugging Face 工具。
2. 用下面的第二条命令下载模型文件。
3. 从该模型的结果数据集获取推理代码。
4. 通过这套代码发送你的请求，不要用普通的聊天方式。

pip install -U huggingface_hub
hf download bespokelabs/Nimble-v4-max

如何使用：你把上下文和带类型的问题传给推理代码。它会构建提示词，使用训练时的注意力模式，并为每个选项只评分一个词元。默认情况下它在温度 1 下做 softmax。要校准概率，请在 softmax 之前用模型的默认温度去除 logits。无论温度怎么变，排第一的选项都不变。

Tool | What it does
code/nimble | 结果数据集里的推理代码，负责构建提示词并给选项评分
schema_config.json | 用哈希固定提示词
benchmark-summary.json | 保存结果数据集中全部 43 个基准的分数

示例：你传入一条客户消息，再问它匹配几个意图中的哪一个。模型为每个意图返回一个概率，最高的那个就是它的答案。如果想要校准的概率，在 softmax 之前先用默认温度去除 logits。

新手与专家：把它想成选择题的阅卷人，而不是聊天机器人。你不会从它那里读到文字，而是读到每个选项旁边的概率。第一个小尝试是用已发布的推理代码跑一个是非问题。

它是 Qwen3.8-27B 的微调版本，为每个选项评分一个词元，而不是写文字。推理代码构建提示词，提示词由 schema 配置用哈希固定，并使用训练时的注意力模式。用普通聊天方式加载或生成文本，都无法得到一样的答案。温度只会重新缩放 logits，从不改变排名。

用上下文和问题构建提示词
应用训练时的注意力模式
为每个选项评分一个词元
对选项 logits 做 softmax
除以温度进行校准

注意事项：在公开的 Decision Index 0.3 测试上，4.1 版本胜过 4.0 版本，请求和代码都相同。

Title: Decision Index 0.3 公开得分
v4.0: 68.46
v4.1: 72.74

Title: 部分基准得分
Benchmark | v4.0 | v4.1
MMLU-Pro | 71.0 | 74.1
GSM8K | 75.9 | 83.6
BANKING77 | 79.9 | 93.2
CLINC150 + OOS | 91.6 | 96.2

要留在 4.0 版本，请固定修订版本：

revision="v4.0"

• Size: 27.4B 参数，BF16 约 54.7 GB，4-bit 约 13.7 GB，这是估算值
• License: CC BY-NC 4.0，所以不能商用，基础模型 Qwen3.8-27B 另有自己的 Apache 2.0 许可
• Cost to run: 没有提到，但需要一块 80 GB 或更大的 GPU
• Data it reaches: 除了下载的文件和你传入的上下文，没有提到其他
• Not for: 商用、普通聊天或自由文本生成

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.4B
• Weights: about 54.7 GB in BF16; about 13.7 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：366
• 点赞：7
• 许可证：cc-by-nc-4.0
• 基于：Qwen/Qwen3.8-27B
• 标签：transformers, safetensors, qwen3_5, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/bespokelabs/Nimble-v4-max
• 文件：https://huggingface.co/bespokelabs/Nimble-v4-max/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bespokelabs/Nimble-v4-max

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。