Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
根据工具调用、用户请求和历史,判断编程智能体提出的工具调用是否应该执行,回答批准或拒绝。这是 Auto 里最小的模型,适合内存很少的机器。
auto-150m-3 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download ProCreations/auto-150m-3
用在哪里里还有 2 个
auto-150m-3 是一个 1.496 亿参数的分类器,在 AI 智能体的工具调用执行前检查它。它查看这次调用、背后的请求和智能体之前做过的事,然后说批准或拒绝。它是 Auto 系列里最小也最快的模型,为内存紧张的机器而造。
适合运行编程智能体,并想要一个本地守卫,来拦截用户从没要求的风险调用,或是跟随页面、文件、工具输出里藏着的指令的调用的人。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 使用编程智能体的开发者 | 在每次工具调用执行前先检查 | 拒绝用户没要求的删除命令 |
| 安全 | 智能体安全团队 | 加一道本地检查,防止被植入的指令 | 拦截跟随网页里隐藏文字的调用 |
| AI 工具 | 智能体开发者 | 在工具前面放一个小的批准或拒绝分类器 | 在笔记本 CPU 上低成本运行 |
想要最高准确度的人可以跳过,因为更大的 Auto 模型得分更高。
| 使用场景 | 谁用 | 得到什么 |
|---|---|---|
| 工具调用检查 | 智能体用户 | 对每个提出的调用给出批准或拒绝的决定 |
| 提示词注入防御 | 安全团队 | 对受植入指令驱动的调用给出拒绝 |
| 低内存守卫 | 小机器上的开发者 | 在说明页的测试 GPU 上约 5 ms 出一个决定 |
先准备好:
pip install -U huggingface_hub hf download ProCreations/auto-150m-3
你传入提出的调用、用户的要求和之前的步骤。它返回批准或拒绝,当拒绝概率达到 0.5 时就拒绝这次调用。说明页的用法代码不在这里能看到的文本里,所以具体输入格式请查看模型页面。
一个编程智能体提出要清空一个文件夹的命令,而用户从没要求过。模型读取调用、请求和历史,返回拒绝。用户确实要求的调用则返回批准。
可以把它想成 AI 智能体的守门员。智能体运行工具之前,守门员说行或不行。一个好的第一步是读一读 Auto 项目怎样把它接到你的智能体上。
模型是一个 ModernBERT-base 编码器,BF16 权重 0.30 GB。它的测试集有 2,948 个留出的工具调用。每个都有一个相近的孪生样本,其中一个小细节会让正确决定反过来。代价是它漏掉 9.1% 的有害调用,并拦下 13.1% 已授权的调用,所以更看重准确度时更适合用更大的 Auto 模型。
说明页在它的 v3 基准上比较了准确度。
根据工具调用、用户请求和历史,判断编程智能体提出的工具调用是否应该执行,回答批准或拒绝。这是 Auto 里最小的模型,适合内存很少的机器。
由 ProCreations 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:auto-150m-3 是一个 1.496 亿参数的分类器,在 AI 智能体的工具调用执行前检查它。它查看这次调用、背后的请求和智能体之前做过的事,然后说批准或拒绝。它是 Auto 系列里最小也最快的模型,为内存紧张的机器而造。
适合谁:适合运行编程智能体,并想要一个本地守卫,来拦截用户从没要求的风险调用,或是跟随页面、文件、工具输出里藏着的指令的调用的人。
行业 | 谁在用 | 怎么用 | 例子
软件 | 使用编程智能体的开发者 | 在每次工具调用执行前先检查 | 拒绝用户没要求的删除命令
安全 | 智能体安全团队 | 加一道本地检查,防止被植入的指令 | 拦截跟随网页里隐藏文字的调用
AI 工具 | 智能体开发者 | 在工具前面放一个小的批准或拒绝分类器 | 在笔记本 CPU 上低成本运行
想要最高准确度的人可以跳过,因为更大的 Auto 模型得分更高。
用在哪里:
使用场景 | 谁用 | 得到什么
工具调用检查 | 智能体用户 | 对每个提出的调用给出批准或拒绝的决定
提示词注入防御 | 安全团队 | 对受植入指令驱动的调用给出拒绝
低内存守卫 | 小机器上的开发者 | 在说明页的测试 GPU 上约 5 ms 出一个决定
如何设置:
先准备好:
pip install -U huggingface_hub
hf download ProCreations/auto-150m-3
如何使用:
你传入提出的调用、用户的要求和之前的步骤。它返回批准或拒绝,当拒绝概率达到 0.5 时就拒绝这次调用。说明页的用法代码不在这里能看到的文本里,所以具体输入格式请查看模型页面。
示例:
一个编程智能体提出要清空一个文件夹的命令,而用户从没要求过。模型读取调用、请求和历史,返回拒绝。用户确实要求的调用则返回批准。
新手与专家:
可以把它想成 AI 智能体的守门员。智能体运行工具之前,守门员说行或不行。一个好的第一步是读一读 Auto 项目怎样把它接到你的智能体上。
模型是一个 ModernBERT-base 编码器,BF16 权重 0.30 GB。它的测试集有 2,948 个留出的工具调用。每个都有一个相近的孪生样本,其中一个小细节会让正确决定反过来。代价是它漏掉 9.1% 的有害调用,并拦下 13.1% 已授权的调用,所以更看重准确度时更适合用更大的 Auto 模型。
智能体提出一个工具调用
模型读取调用、请求和历史
模型给拒绝的可能性打分
批准则执行,拒绝则停止
注意事项:说明页在它的 v3 基准上比较了准确度。
Title: v3 基准准确度
auto-3b-3: 96.0 percent
DeepSeek V4.1 Flash: 95.6 percent
auto-0.4b-3: 93.1 percent
auto-150m-3: 88.8 percent
GPT-6 Luna: 87.9 percent
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download ProCreations/auto-150m-3
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| auto-150m-3 本页 | 207 | 4 | 150M | apache-2.0 | |
| ModernBERT-base共有 modernbert · long-context · transformers | 2,939,636 | 1,155 | 150M | apache-2.0 | |
| ModernBERT-large共有 modernbert · long-context · transformers | 572,085 | 504 | 396M | apache-2.0 | |
| SPARSEUP共有 modernbert · text-embeddings-inference · transformers | 6,627 | 63 | 188M | apache-2.0 | |
| Ru-Jev共有 modernbert · text-classification · transformers | 403 | 2 | 307M | mit | |
| MiniCPM5-2B共有 tool-calling · long-context · transformers | 1,039,518 | 1,850 | 2.5B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。