Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
用一个 2B 模型,针对文本或图片回答是非题、选择题和打分题,并返回校准过的概率。适合需要自动分流、分诊或分类请求的团队。
joey-1 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
hf download baselabs/joey-1 --local-dir joey-1 && bash joey-1/setup.sh
joey-1 是一个 2B 参数的决策模型,由 Baseten 的 Base Labs 基于 Qwen3.5-2B 训练。你给它一段文字描述的情境(可以附带图片)和一组问题,它会给每个答案选项一个概率,并一次处理完所有问题。
它适合需要自动判断步骤的开发者,比如把消息分给合适的团队,或判断它有多紧急,并且希望得到可以据以行动的概率。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 客户支持 | 支持工程师 | 把收到的消息分给合适的团队 | 判断一条消息是不是退款请求 |
| 后台自动化 | 运营团队 | 给事项的紧急程度打分 | 把投诉从可以等一等排到阻塞中 |
| 软件智能体 | 智能体开发者 | 在工作流里加入快速的决策步骤 | 在账单、技术和欺诈处理之间做选择 |
| 分类工作 | 数据团队 | 给条目贴上带校准置信度的标签 | 用概率标出不确定的情况 |
如果你需要自由格式的文本生成,可以跳过它,因为它回答的是选项概率。
| 用例 | 谁用 | 得到什么 |
|---|---|---|
| 是非检查 | 开发者 | 一个问题答是的概率 |
| 选择团队 | 支持团队 | 选出的选项,以及每个命名选项的概率 |
| 评估紧急程度 | 运营 | 有序量表上的一个等级,以及各级概率 |
自托管需要一张 CUDA GPU 和指定的 PyTorch 容器镜像。使用托管方式则你这边不需要设置。
hf download baselabs/joey-1 --local-dir joey-1 && bash joey-1/setup.sh
创建一个决策引擎,为每个问题定义类型,再用情境文本调用 decide。下面的脚本针对一条客户消息问三个问题,并打印答案。
from qev.engine import DecisionEngine
from qev.schema import SystemOneRequest
engine = DecisionEngine("baselabs/joey-1", device="cuda:0")
questions = {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": {"billing": "Charges, refunds, invoices",
"technical": "App or site faults",
"fraud": "Suspected unauthorised use"},
},
"urgency": {
"type": "score",
"instructions": "How urgent is this?",
"criteria": ["Can wait", "Today", "Blocking the customer now"],
},
}
resp, _ = engine.decide(SystemOneRequest(
state="I was charged twice this month, please refund one of them.", questions=questions))
print(resp.answers)| 工具 | 作用 |
|---|---|
| noul | 提出是非问题,返回答是的概率 |
| choice | 在命名的选项中选一个,并给出每个选项的概率 |
| score | 在有序等级上评分,从最低开始,并给出概率 |
你发送一条客户留言,说银行卡被扣了两次,希望退回其中一笔,并附上退款、团队和紧急程度三个问题。答案里,退款问题大概率为是,团队和紧急程度的每个等级也各有一个概率。
如果你刚接触这类模型,可以把它想成一份针对某条消息的小表单,由模型作答,还会说明它有多确定。第一次可以用上面的脚本,换成你自己的句子。
对熟悉这个领域的人来说,它是对语言模型的完整微调,视觉编码器保持冻结,用交叉熵加 Brier 校准项训练。一次共享前缀预填充处理所有问题,最大序列长度是 16,384 个词元。
超出训练长度的输入会被拒绝而不是被截短,模型卡里的基准分数来自作者自己。
用一个 2B 模型,针对文本或图片回答是非题、选择题和打分题,并返回校准过的概率。适合需要自动分流、分诊或分类请求的团队。
由 baselabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:joey-1 是一个 2B 参数的决策模型,由 Baseten 的 Base Labs 基于 Qwen3.5-2B 训练。你给它一段文字描述的情境(可以附带图片)和一组问题,它会给每个答案选项一个概率,并一次处理完所有问题。
适合谁:它适合需要自动判断步骤的开发者,比如把消息分给合适的团队,或判断它有多紧急,并且希望得到可以据以行动的概率。
行业 | 谁在用 | 怎么用 | 例子
客户支持 | 支持工程师 | 把收到的消息分给合适的团队 | 判断一条消息是不是退款请求
后台自动化 | 运营团队 | 给事项的紧急程度打分 | 把投诉从可以等一等排到阻塞中
软件智能体 | 智能体开发者 | 在工作流里加入快速的决策步骤 | 在账单、技术和欺诈处理之间做选择
分类工作 | 数据团队 | 给条目贴上带校准置信度的标签 | 用概率标出不确定的情况
如果你需要自由格式的文本生成,可以跳过它,因为它回答的是选项概率。
用在哪里:
用例 | 谁用 | 得到什么
是非检查 | 开发者 | 一个问题答是的概率
选择团队 | 支持团队 | 选出的选项,以及每个命名选项的概率
评估紧急程度 | 运营 | 有序量表上的一个等级,以及各级概率
如何设置:自托管需要一张 CUDA GPU 和指定的 PyTorch 容器镜像。使用托管方式则你这边不需要设置。
hf download baselabs/joey-1 --local-dir joey-1 && bash joey-1/setup.sh
如何使用:创建一个决策引擎,为每个问题定义类型,再用情境文本调用 decide。下面的脚本针对一条客户消息问三个问题,并打印答案。
from qev.engine import DecisionEngine
from qev.schema import SystemOneRequest
engine = DecisionEngine("baselabs/joey-1", device="cuda:0")
questions = {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": {"billing": "Charges, refunds, invoices",
"technical": "App or site faults",
"fraud": "Suspected unauthorised use"},
},
"urgency": {
"type": "score",
"instructions": "How urgent is this?",
"criteria": ["Can wait", "Today", "Blocking the customer now"],
},
}
resp, _ = engine.decide(SystemOneRequest(
state="I was charged twice this month, please refund one of them.", questions=questions))
print(resp.answers)
工具 | 作用
noul | 提出是非问题,返回答是的概率
choice | 在命名的选项中选一个,并给出每个选项的概率
score | 在有序等级上评分,从最低开始,并给出概率
示例:你发送一条客户留言,说银行卡被扣了两次,希望退回其中一笔,并附上退款、团队和紧急程度三个问题。答案里,退款问题大概率为是,团队和紧急程度的每个等级也各有一个概率。
新手与专家:如果你刚接触这类模型,可以把它想成一份针对某条消息的小表单,由模型作答,还会说明它有多确定。第一次可以用上面的脚本,换成你自己的句子。
对熟悉这个领域的人来说,它是对语言模型的完整微调,视觉编码器保持冻结,用交叉熵加 Brier 校准项训练。一次共享前缀预填充处理所有问题,最大序列长度是 16,384 个词元。
Title: Jev 0.4 公开集上的 Decision Index
elephant-1: 72.24
joey-1: 63.30
Cloudflare Clef: 61.71
Jev 1.14: 60.70
Perplexity Decider Flash v1.2: 60.06
你发送情境和你的问题
一次共享预填充读取文字和图片
模型给每个问题的每个选项打分
你得到每个选项的概率
注意事项:超出训练长度的输入会被拒绝而不是被截短,模型卡里的基准分数来自作者自己。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download baselabs/joey-1
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| joey-1 本页 | 1,539 | 47 | 2.7B | mit | |
| elephant-1共有 baseten · guardrails · routing | 7,426 | 115 | 9.4B | mit | |
| mammoth-1共有 baseten · guardrails · routing | 5,903 | 97 | 27.4B | mit | |
| Seb-9B-v2共有 routing · classification · decision-model | 265 | 4 | 9.7B | apache-2.0 | |
| d3-flash共有 classification · vision · decision-model | 103,577 | 114 | 8.4B | apache-2.0 | |
| d3-mini共有 classification · vision · decision-model | 53,115 | 75 | 4.5B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。