Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
一次处理就能对俄语文本做结构化判断:选一个选项、按量表打分、回答是或否,或给候选排序。适合要对俄语消息分类和路由的开发者。
FRIDA-Decisions 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download ai-forever/FRIDA-Decisions
FRIDA-Decisions 读一段俄语文本,并在你声明的选项里选出答案来回答关于它的问题。它可以在几个标签里选一个,把文本放到某个量表上,回答是或否,或者给候选排序。它从不写自由文本,所以每个答案都是你的某个选项,并附带置信度。
它适合要对俄语消息做分类、分流或路由的开发者,他们想要一个快速、可预测的分类器,并且不用重新训练就能更换标签。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 客户支持 | 客服工具开发者 | 按主题和紧急程度给收到的俄语消息分类 | 把一条验证码没收到的消息标为登录问题 |
| 内容审核 | 平台开发者 | 标出用户消息里的垃圾信息 | 回答某条消息是不是垃圾信息 |
| 软件 | 应用开发者 | 把用户请求匹配到众多意图之一 | 一次处理就对 243 个意图的目录做检查 |
| 研究 | NLP 研究者 | 在俄语基准上测试判断准确率 | 在 razvilka 数据集上运行模型 |
如果你需要文本生成,或者你的文本是其他语言,可以跳过它。
它可以在本地的 Python 里运行,可以用消费级 GPU,也可以通过 ONNX 版本在 CPU 上运行,还能通过 MLX 版本在 Apple Silicon 上运行。
| Use case | Who | What they get back |
|---|---|---|
| 主题分类 | 支持团队 | 每条消息对应一个声明过的标签,并附置信度 |
| 紧急程度评级 | 分流工具 | 你定义的量表上的一个位置 |
| 垃圾信息检查 | 审核人员 | 一个是或否的答案,并附置信度 |
你需要带 pip 的 Python,以及 frida-decisions 包,模型卡把它固定在 0.4.0 版本并带 torch 扩展。如果要在没有 PyTorch 的 CPU 上用,模型卡提到的是 onnx 扩展。
pip install -U huggingface_hub hf download ai-forever/FRIDA-Decisions
你构建一个请求,把文本作为 state,再加上一组命名的问题。每个问题有类型、说明和判断标准。类型有 choice、score 和 noul,noul 就是是或否。
from frida_decisions import Judge
judge = Judge.from_pretrained("ai-forever/FRIDA-Decisions", device="cuda")把请求交给 judge,并打印答案。
print(judge.judge(request)["answers"])
| Tool | What it does |
|---|---|
| Judge | 在进程内运行模型,这里用的是 CUDA GPU |
| OnnxJudge | 在 CPU 上运行 int8 的 ONNX 版本 |
| vLLM server | 在带 GPU 的 Linux 上把很多用户的请求合并处理 |
| hf download | 把模型文件下载到你的电脑 |
你发送一条俄语客服消息,说验证码一个小时都没收到。你附上三个问题:它属于登录、支付还是配送,有多紧急,是不是垃圾信息。每个答案都以你声明过的某个选项返回,并附置信度。
可以把它看作一个由读者填写的表单。你写好问题和允许的答案,模型从中勾选一个。好的第一次尝试是用两三个主题来试那个客服消息的例子。
它建立在 823M 参数的 FRIDA T5 编码器之上。打包会把每个问题的选项放进同一个序列,所以文本只读一次,后续问题的成本很低。模型卡报告它在包含 735 个条目的 razvilka 基准上得分 0.893,而一个商业 API 是 0.897。
按模型卡所说,把所有选项打包进一个序列,比逐个选项分别打分快得多。
一次处理就能对俄语文本做结构化判断:选一个选项、按量表打分、回答是或否,或给候选排序。适合要对俄语消息分类和路由的开发者。
由 ai-forever 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:FRIDA-Decisions 读一段俄语文本,并在你声明的选项里选出答案来回答关于它的问题。它可以在几个标签里选一个,把文本放到某个量表上,回答是或否,或者给候选排序。它从不写自由文本,所以每个答案都是你的某个选项,并附带置信度。
适合谁:它适合要对俄语消息做分类、分流或路由的开发者,他们想要一个快速、可预测的分类器,并且不用重新训练就能更换标签。
Industry | Who uses it | How they use it | Example
客户支持 | 客服工具开发者 | 按主题和紧急程度给收到的俄语消息分类 | 把一条验证码没收到的消息标为登录问题
内容审核 | 平台开发者 | 标出用户消息里的垃圾信息 | 回答某条消息是不是垃圾信息
软件 | 应用开发者 | 把用户请求匹配到众多意图之一 | 一次处理就对 243 个意图的目录做检查
研究 | NLP 研究者 | 在俄语基准上测试判断准确率 | 在 razvilka 数据集上运行模型
如果你需要文本生成,或者你的文本是其他语言,可以跳过它。
用在哪里:它可以在本地的 Python 里运行,可以用消费级 GPU,也可以通过 ONNX 版本在 CPU 上运行,还能通过 MLX 版本在 Apple Silicon 上运行。
Use case | Who | What they get back
主题分类 | 支持团队 | 每条消息对应一个声明过的标签,并附置信度
紧急程度评级 | 分流工具 | 你定义的量表上的一个位置
垃圾信息检查 | 审核人员 | 一个是或否的答案,并附置信度
如何设置:你需要带 pip 的 Python,以及 frida-decisions 包,模型卡把它固定在 0.4.0 版本并带 torch 扩展。如果要在没有 PyTorch 的 CPU 上用,模型卡提到的是 onnx 扩展。
pip install -U huggingface_hub
hf download ai-forever/FRIDA-Decisions
如何使用:你构建一个请求,把文本作为 state,再加上一组命名的问题。每个问题有类型、说明和判断标准。类型有 choice、score 和 noul,noul 就是是或否。
from frida_decisions import Judge
judge = Judge.from_pretrained("ai-forever/FRIDA-Decisions", device="cuda")
把请求交给 judge,并打印答案。
print(judge.judge(request)["answers"])
Tool | What it does
Judge | 在进程内运行模型,这里用的是 CUDA GPU
OnnxJudge | 在 CPU 上运行 int8 的 ONNX 版本
vLLM server | 在带 GPU 的 Linux 上把很多用户的请求合并处理
hf download | 把模型文件下载到你的电脑
示例:你发送一条俄语客服消息,说验证码一个小时都没收到。你附上三个问题:它属于登录、支付还是配送,有多紧急,是不是垃圾信息。每个答案都以你声明过的某个选项返回,并附置信度。
新手与专家:可以把它看作一个由读者填写的表单。你写好问题和允许的答案,模型从中勾选一个。好的第一次尝试是用两三个主题来试那个客服消息的例子。
它建立在 823M 参数的 FRIDA T5 编码器之上。打包会把每个问题的选项放进同一个序列,所以文本只读一次,后续问题的成本很低。模型卡报告它在包含 735 个条目的 razvilka 基准上得分 0.893,而一个商业 API 是 0.897。
把文本和问题写成 JSON
文本一次编码,一次处理完成
所有声明的选项一起打分
每个问题返回一个选项和置信度
注意事项:按模型卡所说,把所有选项打包进一个序列,比逐个选项分别打分快得多。
Title: 回答 243 个意图目录所需的时间
打包成一个序列: 0.44 seconds
每个选项一个序列: 4.65 seconds
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download ai-forever/FRIDA-Decisions
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| FRIDA-Decisions 本页 | 1,111 | 57 | 823M | mit | |
| Ru-Jev共有 intent-classification · russian · routing | 403 | 2 | 307M | mit | |
| Laya共有 guardrails · routing · safetensors | 18,689 | 5,956 | 421M | apache-2.0 | |
| Laya Multilingual共有 guardrails · routing · safetensors | 9,698 | 422 | 322M | apache-2.0 | |
| elephant-1共有 guardrails · routing · safetensors | 7,426 | 115 | 9.4B | mit | |
| mammoth-1共有 guardrails · routing · safetensors | 5,903 | 97 | 27.4B | mit |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。