Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
一次读入一个情境和多个问题,再逐个给出选择、是否或分数。适合需要分派、标记或评估请求的团队。
pplx-decider-v1.2 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download perplexity-ai/pplx-decider-v1.2
pplx-decider-v1.2 是 Perplexity 推出的文本分类模型,一次读入一个情境和多个问题,再逐个作答。它是 v1.1 27B 决策模型的后续版本,沿用同一个 Qwen3.8-27B 基础模型,能处理文本和图像。
适合需要让模型对一段文字做结构化判断的团队,比如分派消息,或评估客户的不满程度。比较决策类基准的研究人员也可以使用。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 客户支持 | 支持工程师 | 把每条消息分给合适的团队,并标出被卡住的客户 | 密钥更换后出现 401 错误,会分给支持团队 |
| 软件 | 机器学习工程师 | 加一个能同时回答多个问题的分类步骤 | 给一张工单标上团队、紧急标记和情绪分数 |
| 研究 | 评测研究人员 | 比较不同模型版本的决策基准 | 用联合请求和单问题请求跑同一套测试 |
如果你没有约 52 GiB 空间的 GPU,可以跳过本地运行。
| Use case | Who | What they get back |
|---|---|---|
| 请求分派 | 支持团队 | 每条消息对应的团队 |
| 紧急程度检查 | 运营人员 | 客户是否被卡住的是或否 |
| 情绪评分 | 支持主管 | 从你提供的等级列表中选出的分数 |
pip install -U huggingface_hub hf download perplexity-ai/pplx-decider-v1.2
也可以把 source 文件夹安装成一个包:
pip install ./source
加载检查点,在 GPU 上创建 Decider,再用包含状态和一组问题的请求调用 decide。每个问题都有类型,比如 choice、noul 或 score。
import sys
from pathlib import Path
from huggingface_hub import snapshot_download
checkpoint = Path(snapshot_download("perplexity-ai/pplx-decider-v1.2"))
sys.path.insert(0, str(checkpoint / "source" / "src"))
from pplx_decider import Decider
decider = Decider.from_pretrained(checkpoint, device="cuda")| Tool | What it does |
|---|---|
| Decider.from_pretrained | 把检查点加载到 CUDA 设备上 |
| decide | 接收一个请求并返回一个响应,传入请求列表则返回响应列表 |
一位客户说,自从轮换了 API 密钥,集成就一直报 401。你问:该由哪个团队处理,客户是否被卡住,他听起来有多沮丧。响应里每个问题各有一个答案,比如团队选择,以及紧急程度的是或否。
如果你是新手,可以把它当作一个分拣器。你给它一个情境和几个问题,它为每个问题给出答案。先下载文件,用一条示例消息试一次。
在内部,每个问题都在紧跟其选项的特殊标记词元处读出结果,所以一次前向计算就能覆盖所有问题。多问几个问题成本很低,但问题之间会互相影响,卡片说明当问题是相互竞争的候选项时,这会有损效果。检查点通过权重平均合并了多次训练。
一次读入一个情境和多个问题,再逐个给出选择、是否或分数。适合需要分派、标记或评估请求的团队。
由 perplexity-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:pplx-decider-v1.2 是 Perplexity 推出的文本分类模型,一次读入一个情境和多个问题,再逐个作答。它是 v1.1 27B 决策模型的后续版本,沿用同一个 Qwen3.8-27B 基础模型,能处理文本和图像。
适合谁:适合需要让模型对一段文字做结构化判断的团队,比如分派消息,或评估客户的不满程度。比较决策类基准的研究人员也可以使用。
Industry | Who uses it | How they use it | Example
客户支持 | 支持工程师 | 把每条消息分给合适的团队,并标出被卡住的客户 | 密钥更换后出现 401 错误,会分给支持团队
软件 | 机器学习工程师 | 加一个能同时回答多个问题的分类步骤 | 给一张工单标上团队、紧急标记和情绪分数
研究 | 评测研究人员 | 比较不同模型版本的决策基准 | 用联合请求和单问题请求跑同一套测试
如果你没有约 52 GiB 空间的 GPU,可以跳过本地运行。
用在哪里:
Use case | Who | What they get back
请求分派 | 支持团队 | 每条消息对应的团队
紧急程度检查 | 运营人员 | 客户是否被卡住的是或否
情绪评分 | 支持主管 | 从你提供的等级列表中选出的分数
如何设置:
pip install -U huggingface_hub
hf download perplexity-ai/pplx-decider-v1.2
也可以把 source 文件夹安装成一个包:
pip install ./source
如何使用:加载检查点,在 GPU 上创建 Decider,再用包含状态和一组问题的请求调用 decide。每个问题都有类型,比如 choice、noul 或 score。
import sys
from pathlib import Path
from huggingface_hub import snapshot_download
checkpoint = Path(snapshot_download("perplexity-ai/pplx-decider-v1.2"))
sys.path.insert(0, str(checkpoint / "source" / "src"))
from pplx_decider import Decider
decider = Decider.from_pretrained(checkpoint, device="cuda")
Tool | What it does
Decider.from_pretrained | 把检查点加载到 CUDA 设备上
decide | 接收一个请求并返回一个响应,传入请求列表则返回响应列表
示例:一位客户说,自从轮换了 API 密钥,集成就一直报 401。你问:该由哪个团队处理,客户是否被卡住,他听起来有多沮丧。响应里每个问题各有一个答案,比如团队选择,以及紧急程度的是或否。
新手与专家:如果你是新手,可以把它当作一个分拣器。你给它一个情境和几个问题,它为每个问题给出答案。先下载文件,用一条示例消息试一次。
在内部,每个问题都在紧跟其选项的特殊标记词元处读出结果,所以一次前向计算就能覆盖所有问题。多问几个问题成本很低,但问题之间会互相影响,卡片说明当问题是相互竞争的候选项时,这会有损效果。检查点通过权重平均合并了多次训练。
状态和问题作为一个请求输入
一次通过 27B 模型
每个问题的选项后跟一个标记词元
每个标记给出该问题的答案
注意事项:
Title: Overall Decision Index 0.3
v1.1 27b: 62.30 分
v1.2 联合请求: 68.09 分
v1.2 每次一个问题: 67.75 分
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download perplexity-ai/pplx-decider-v1.2
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| pplx-decider-v1.2 本页 | 5,700 | 74 | 26.1B | apache-2.0 | |
| pplx-decider-flash-v1.2共有 decider · custom-code · classification | 7,052 | 78 | 4.5B | apache-2.0 | |
| clef-flash-4bit共有 custom-code · classification · decision-model | 3,524 | 40 | 9.4B | apache-2.0 | |
| pplx-decider-flash-gguf-v1.2共有 decider · classification · text-classification | 11,185 | 10 | 4.8B | apache-2.0 | |
| ARC 1.0共有 custom-code · text-classification · decision-model | 37 | 23 | 615M | apache-2.0 | |
| Seb-9B-v2共有 classification · text-classification · decision-model | 265 | 4 | 9.7B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。