Bespoke-Nimble-9B

Bespoke-Nimble-9B

用 Qwen3.5-9B 上的 LoRA 适配器，根据一段文字给是非题、选择题和评分等级打分。适合需要返回概率而不是自由文本的分类器的开发者。

由 bespokelabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Bespoke-Nimble-9B 是 Qwen3.5-9B 模型的 LoRA 适配器。你给它一段文字和一组允许的答案，它会直接给每个答案打分。它不会写解释，也不会给自由形式的回复。

它处理三类字段：从列表里选一项、真或假，以及带编号的评分等级。结果里包含选中的答案和每个选项的概率。

适合谁：适合想要一个以你提供的文字为依据来作答的分类器的开发者，比如做政策核对或质量打分，并且手上有 CUDA GPU。

Industry | Who uses it | How they use it | Example
零售 | 客服工程师 | 对照书面政策检查客户案例 | 这件商品是否还在退货期内
内容 | 编辑和审稿人 | 按评分标准给文字打分 | 在一个小的编号量表上给草稿打分
软件 | 后端开发者 | 把请求分到一组标签中的一个 | 从固定列表里选一个类别
运营 | 分析师 | 把文字记录变成是或否的标记 | 标出一条记录是否满足既定规则

如果你想要聊天回答、解释或长篇生成文本，可以跳过它，因为这个适配器只会给你列出的选项打分。

用在哪里：

• 带支持 BF16 的 CUDA GPU 的机器上的 Python。
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件。
• Mac 和其他加载方式见项目自己的快速入门。

Use case | Who | What they get back
政策核对 | 客服团队 | 一个真或假的答案及其概率
评分等级 | 审稿人 | 选中的等级和按概率加权的期望分数
标签选择 | 开发者 | 从最多 255 个选项里选一个，并给出概率

如何设置：你需要基础模型和合适的 GPU 环境。

• 支持 BF16 的 CUDA GPU
• CUDA 版本的 PyTorch，作者自己的运行用的是 2.8.0 版和 CUDA 12.8
• 能获取 Qwen3.5-9B 基础权重，这个仓库不包含它们
• 只有仓库是私有时才需要 Hugging Face 令牌

1. 把仓库下载到本地文件夹。
2. 在该文件夹里安装固定版本的依赖。
3. 导入前先检查自带的辅助程序。它不需要 trust_remote_code。

pip install -U huggingface_hub
hf download bespokelabs/Bespoke-Nimble-9B --local-dir nimble-model
pip install -r nimble-model/requirements.txt

如何使用：导入辅助程序，从文件夹加载模型，然后用上下文和描述你想回答的字段的 schema 调用 score。

import sys
sys.path.insert(0, "nimble-model")
from inference import NimbleModel

model = NimbleModel("nimble-model")
result = model.score(
    context="The store accepts returns within 30 days. This item was bought 12 days ago.",
    schema={
        "eligible": {
            "type": "boolean",
            "description": "Is this item within the store return window?"
        }
    },
)
print(result["output"])
print(result["fields"]["eligible"]["probabilities"])

Tool | What it does
NimbleModel | 从本地文件夹加载适配器和分词器
score | 根据上下文给 schema 里的每个字段打分
type enum with choices | 定义一个字段，答案是字符串列表中的一项
score_fields | 指定返回整数和期望分数的评分字段

示例：传入一段简短的说明，写明 30 天内可以退货、商品是 12 天前买的，再加一个名为 eligible 的真或假字段。你会拿到选中的输出，以及模型给这个字段每个答案的概率。

新手与专家：如果你刚接触，可以把它想成一个在你定义的选项里做选择的评判者。先试退货期这个示例和布尔字段，跑通后再加选项列表。

对专家来说，它直接给允许的答案标记打分，并对候选 logits 只做一次 softmax，默认温度是 1.0。字段是一个一个处理的。每个字段最多 255 个选项，超过 8,192 个标记的提示词会被拒绝而不是截断。模型卡说这个检查点没有单独的温度校准，所以不要沿用旧模型的数值。

定义上下文和字段 schema
对已加载的模型调用 score
适配器给每个允许的答案打分
softmax 得出每个选项的概率
你读取输出和概率

注意事项：下面几点说明了限制和成本。

• Hardware: 需要支持 BF16 的 CUDA GPU。
• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。只有私有仓库才需要 Hugging Face 令牌，另外你需要一块够用的 GPU。
• Data it reaches: 它读取你传入的上下文。基础 Qwen3.5-9B 权重来自 Hugging Face，没有复制到这个仓库里。
• Not for: 自由形式的回答或生成推理，超过 8,192 个标记的提示词，或一个字段里超过 255 个选项。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：peft
• Formats: Safetensors
• 最近 30 天下载：1,027
• 点赞：254
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3.5-9B
• 标签：peft, safetensors, lora, qwen3.5, text-classification, structured-prediction, evidence-grounding

链接

• 模型：https://huggingface.co/bespokelabs/Bespoke-Nimble-9B
• 文件：https://huggingface.co/bespokelabs/Bespoke-Nimble-9B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bespokelabs/Bespoke-Nimble-9B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。