Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
一个开源的土耳其语决策引擎,针对一条消息回答带类型的问题,比如路由、紧急程度、是否转人工或提示词注入,给每个选项一个概率,不生成文本。
Pusula 是一款工具包,属于商务类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
hf download vllm-sr/d3 --local-dir d3 --exclude "assets/*" hf download erenextlabs/pusula --local-dir pusula
Pusula 是一个土耳其语决策引擎。它以 vllm-sr/d3 基础模型(Decision 3.0)为起点,再加上土耳其语数据的训练。对每条消息,你提出带类型的问题,它一次计算就给出每个可能答案的概率。
你可以问的问题包括:请求属于哪个队列、有多紧迫、是否转给人处理,以及消息里是否夹带了注入的提示词。这个仓库是一个 LoRA 适配器加代码,约 0.9 GB,当前版本是 v2.0。
适合处理土耳其语消息、想要快速结构化分诊的团队,以及需要检查输入的智能体开发者。需要能运行 26B 基础模型的 GPU 环境。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 客户支持 | 支持团队 | 对收到的土耳其语消息做路由和评级 | 判断一条消息是否需要人工客服 |
| 金融 | 服务台 | 尽早标出紧急或涉及欺诈的请求 | 一条关于不明银行卡取款的消息 |
| AI 智能体 | 智能体开发者 | 检查输入里是否有隐藏指令和个人数据 | 智能体读邮件之前先筛查 |
| 内容审核 | 社区团队 | 检测土耳其语文本里的侮辱和仇恨言论 | 给辱骂消息打标签以便审核 |
如果你处理土耳其语以外的语言,或者想要自由文本回复,可以跳过它。它回答问题,不生成文本。
| Use case | Who | What they get back |
|---|---|---|
| 消息路由 | 支持团队 | 每个路由选项的概率 |
| 紧急程度评分 | 服务台 | 从日常到紧急各个等级上的分数 |
| 安全检查 | 智能体开发者 | 消息中存在提示词注入或个人数据的概率 |
你需要 Python、pusula 包和基础模型文件。
hf download vllm-sr/d3 --local-dir d3 --exclude "assets/*" hf download erenextlabs/pusula --local-dir pusula
用基础模型和适配器加载引擎,然后用一条消息和你想要回答的问题调用 decide。只用通用 PEFT 加载适配器是不够的,因为这个包会应用代码读出和注意力钩子。
from pusula.inference import D3Engine
engine = D3Engine.load("d3", adapter="pusula")
answers = engine.decide(
"Kartımdan bilgim dışında üç çekim yapıldı, hemen engelleyin!",
{
"temsilci": {"type": "noul", "instructions": "Bir insan temsilciye aktarılmalı mı?"},
"aciliyet": {"type": "score", "instructions": "Ne kadar acil?", "criteria": ["Rutin", "Yakın", "Yüksek", "Kritik"]},
},
)| Tool | What it does |
|---|---|
| D3Engine.load | 加载基础模型和 Pusula 适配器 |
| engine.decide | 回答你针对一条消息提出的带类型问题 |
| score question | 按你列出的等级给消息评分,比如从日常到紧急 |
一位客户用土耳其语写道,他的银行卡在他不知情的情况下被取了三笔款,请求冻结。你问是否应该转人工,以及从日常到紧急有多紧急。引擎会返回每个选项的概率。
如果你刚接触,可以把 Pusula 当作一个分诊助手,它读一条土耳其语消息,并回答你针对它提出的选择题。像示例那样,用一条消息和两个问题试一次。
对专家来说,这个适配器是秩为 32 的 LoRA,通过代码读出应用在 26B 的 d3 基础模型上。自定义问题和缺失信息模板由关闭适配器的基础模型来回答。模型卡报告在留出的真实客户消息上得分 90.6。在公开基准上 v2.0 得分 92.0,略低于 v1.0 的 92.6,主要差在紧急程度、转人工和领域。
下面几点说明了限制和成本。
一个开源的土耳其语决策引擎,针对一条消息回答带类型的问题,比如路由、紧急程度、是否转人工或提示词注入,给每个选项一个概率,不生成文本。
由 erenextlabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Pusula 是一个土耳其语决策引擎。它以 vllm-sr/d3 基础模型(Decision 3.0)为起点,再加上土耳其语数据的训练。对每条消息,你提出带类型的问题,它一次计算就给出每个可能答案的概率。
你可以问的问题包括:请求属于哪个队列、有多紧迫、是否转给人处理,以及消息里是否夹带了注入的提示词。这个仓库是一个 LoRA 适配器加代码,约 0.9 GB,当前版本是 v2.0。
适合谁:适合处理土耳其语消息、想要快速结构化分诊的团队,以及需要检查输入的智能体开发者。需要能运行 26B 基础模型的 GPU 环境。
Industry | Who uses it | How they use it | Example
客户支持 | 支持团队 | 对收到的土耳其语消息做路由和评级 | 判断一条消息是否需要人工客服
金融 | 服务台 | 尽早标出紧急或涉及欺诈的请求 | 一条关于不明银行卡取款的消息
AI 智能体 | 智能体开发者 | 检查输入里是否有隐藏指令和个人数据 | 智能体读邮件之前先筛查
内容审核 | 社区团队 | 检测土耳其语文本里的侮辱和仇恨言论 | 给辱骂消息打标签以便审核
如果你处理土耳其语以外的语言,或者想要自由文本回复,可以跳过它。它回答问题,不生成文本。
用在哪里:
Use case | Who | What they get back
消息路由 | 支持团队 | 每个路由选项的概率
紧急程度评分 | 服务台 | 从日常到紧急各个等级上的分数
安全检查 | 智能体开发者 | 消息中存在提示词注入或个人数据的概率
如何设置:你需要 Python、pusula 包和基础模型文件。
hf download vllm-sr/d3 --local-dir d3 --exclude "assets/*"
hf download erenextlabs/pusula --local-dir pusula
如何使用:用基础模型和适配器加载引擎,然后用一条消息和你想要回答的问题调用 decide。只用通用 PEFT 加载适配器是不够的,因为这个包会应用代码读出和注意力钩子。
from pusula.inference import D3Engine
engine = D3Engine.load("d3", adapter="pusula")
answers = engine.decide(
"Kartımdan bilgim dışında üç çekim yapıldı, hemen engelleyin!",
{
"temsilci": {"type": "noul", "instructions": "Bir insan temsilciye aktarılmalı mı?"},
"aciliyet": {"type": "score", "instructions": "Ne kadar acil?", "criteria": ["Rutin", "Yakın", "Yüksek", "Kritik"]},
},
)
Tool | What it does
D3Engine.load | 加载基础模型和 Pusula 适配器
engine.decide | 回答你针对一条消息提出的带类型问题
score question | 按你列出的等级给消息评分,比如从日常到紧急
示例:一位客户用土耳其语写道,他的银行卡在他不知情的情况下被取了三笔款,请求冻结。你问是否应该转人工,以及从日常到紧急有多紧急。引擎会返回每个选项的概率。
新手与专家:如果你刚接触,可以把 Pusula 当作一个分诊助手,它读一条土耳其语消息,并回答你针对它提出的选择题。像示例那样,用一条消息和两个问题试一次。
对专家来说,这个适配器是秩为 32 的 LoRA,通过代码读出应用在 26B 的 d3 基础模型上。自定义问题和缺失信息模板由关闭适配器的基础模型来回答。模型卡报告在留出的真实客户消息上得分 90.6。在公开基准上 v2.0 得分 92.0,略低于 v1.0 的 92.6,主要差在紧急程度、转人工和领域。
收到一条土耳其语消息
你定义带选项的类型化问题
引擎加载 d3 和 Pusula 适配器
一次前向计算给每个选项打分
你读取每个问题的概率
Title: Pusula 2.0 的准确率,百分比
真实客户消息: 90.6 %
长篇客户投诉: 88.3 %
Turkish Decision Benchmark: 92.0 %
Gold 测试集: 92.1 %
未见行业的自定义问题: 93.5 %
MASSIVE tr-TR 意图: 85.2 %
OffensEval 2020 Turkish: 88.3 %
注意事项:下面几点说明了限制和成本。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download erenextlabs/pusula
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Pusula 本页 | 23 | 2 | — | apache-2.0 | |
| pplx-decider-v1.1-27b共有 text-classification · decision-model · safetensors | 4,065 | 182 | 26.1B | apache-2.0 | |
| whisper-large-v3-chileno-lora共有 lora · safetensors | 79 | 6 | — | apache-2.0 | |
| H2O-Lightning-4B共有 decision-model · safetensors | 10,530 | 107 | 4.7B | apache-2.0 | |
| basal-omni-1.0-ultra共有 decision-model · safetensors | 3,831 | 43 | 31.3B | apache-2.0 | |
| Amos 1 large共有 decision-model · safetensors | 694 | 28 | — | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
perplexity-ai · 工具包
根据文字和图片为一个决策挑出最合适的选项,比如哪个团队应该处理一条请求,并给出每个选项的概率,适合构建分流和审核工作流的开发者。
numind · 工具包
以文本或图像读取文档,按你要的字段填写 JSON 模板,或把页面转成 Markdown。这是一个 4B 模型,适合处理扫描件、表单和发票的团队。
nace-ai · 工具包
一次推理就对一份文档的是非题、选择题和打分题给出每个选项的概率。这是 Nace.AI 的 8B 决策模型,你可以自己运行,许可证为非商业。