Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
针对一个案例(文本、JSON 或照片)回答带类型的问题,一次推理就给出每个允许答案的概率。这是一个 27B 的决策模型,不写自由文本,适合开发分流和审核流程的开发者。
Amos 1 large 是一款工具包,属于商务类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
hf download mukaddamzaid/amos-1-large --local-dir amos-1-large pip install ./amos-1-large/serve python -m amos.serve amos-1-large --device cuda --port 8000 --max-len 131072
Amos 1 large 是一个 27B 的决策模型。你给它一个案例(文本、JSON 或照片)和一组带类型的问题,它一次推理就回答所有问题。每个回答都附有你允许的每个选项的概率。因为它只返回答案、不写文章,所以你不用解析回复,也不会出现格式损坏。它是 Amos 1 四个模型里最大的一个,用于最难的判断。
如果你是把杂乱的案例变成结构化决策的开发者,比如给消息分流,或对照政策检查文档,它适合你。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 客户支持 | 客服负责人和开发者 | 对进来的消息分类和分流 | 询问客户是否想退款,以及该由哪个团队处理 |
| 后台运营 | 运营团队 | 对照规则检查发票和记录 | 读取一张发票,回答关于它的带类型的问题 |
| 合规 | 分析师 | 用长篇政策来检验案例 | 回答需要几步推理的是非题 |
| 软件 | 开发者 | 用带类型的答案取代自由文本解析 | 得到每个选项的概率,而不是一段需要解析的话 |
如果你需要自由写作,或者需要英语以外的语言,可以跳过它。
你可以用作者提供的托管方式,模型卡说它不需要密钥,也可以在带 80 GB GPU 的机器上自己运行服务包。
| 使用场景 | 谁用 | 得到什么 |
|---|---|---|
| 工单分流 | 客服团队 | 每个团队和每个是非问题的概率 |
| 文档检查 | 分析师 | 每个问题的带类型答案、引文或指点 |
| 结构化提取 | 开发者 | 不需要文本解析的输出 |
你需要 Python 3.12、PyTorch 2.14、Hugging Face hub 包和一块 80 GB 的 GPU。模型卡把这些版本固定为测得它数据时所用的版本。
hf download mukaddamzaid/amos-1-large --local-dir amos-1-large pip install ./amos-1-large/serve python -m amos.serve amos-1-large --device cuda --port 8000 --max-len 131072
向运行中的服务器的 systemone 端点发一个 POST 请求,在 state 里放案例,再放上你带类型的问题。模型卡展示了下面这个请求体,它对一张发票问了两个问题。
{
"state": "Invoice INV-2231 for £306.00 was charged to my card twice. Please refund one.",
"questions": {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
"team": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": null, "technical": null, "sales": null}}
}
}| Tool | What it does |
|---|---|
| noul | 是非题 |
| choice | 从最多 255 个选项里选一个 |
| score | 给某样东西打分 |
| multi | 选出所有适用的 |
| span | 引用文本中的一段 |
| region | 指出照片里的某个位置,照片放在 images 里发送 |
你发送一条发票投诉,说信用卡被扣了两次款。你问客户是否想退款,以及该由哪个团队处理,选项有 billing、technical 和 sales。回复会给出每个问题的每个答案的概率。
如果你刚接触,可以把它想成一张会自己填写的表单。你写好问题和允许的答案,模型返回每个答案有多大可能。第一件小事是用你自己的文字试一下模型卡里的发票例子。
如果你熟悉这个领域,它在一个 27B 的 Qwen 基础模型上一次前向推理就回答所有问题,答案头放在 heads.pt,引文解码设置放在 calibration.json。模型卡报告了它在带类型决策测试集和 Decision Bench 上的结果,并说明竞争模型是它自己跑的,只有一个用的是其作者自己公布的数字。
模型卡列出了这些限制。它是四个 Amos 1 模型里最慢的,像整条条款这样的长引文可能被截短,而且只支持英语。一个请求最长可以有 131,072 个令牌。
针对一个案例(文本、JSON 或照片)回答带类型的问题,一次推理就给出每个允许答案的概率。这是一个 27B 的决策模型,不写自由文本,适合开发分流和审核流程的开发者。
由 mukaddamzaid 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Amos 1 large 是一个 27B 的决策模型。你给它一个案例(文本、JSON 或照片)和一组带类型的问题,它一次推理就回答所有问题。每个回答都附有你允许的每个选项的概率。因为它只返回答案、不写文章,所以你不用解析回复,也不会出现格式损坏。它是 Amos 1 四个模型里最大的一个,用于最难的判断。
适合谁:如果你是把杂乱的案例变成结构化决策的开发者,比如给消息分流,或对照政策检查文档,它适合你。
行业 | 谁在用 | 怎么用 | 例子
客户支持 | 客服负责人和开发者 | 对进来的消息分类和分流 | 询问客户是否想退款,以及该由哪个团队处理
后台运营 | 运营团队 | 对照规则检查发票和记录 | 读取一张发票,回答关于它的带类型的问题
合规 | 分析师 | 用长篇政策来检验案例 | 回答需要几步推理的是非题
软件 | 开发者 | 用带类型的答案取代自由文本解析 | 得到每个选项的概率,而不是一段需要解析的话
如果你需要自由写作,或者需要英语以外的语言,可以跳过它。
用在哪里:你可以用作者提供的托管方式,模型卡说它不需要密钥,也可以在带 80 GB GPU 的机器上自己运行服务包。
使用场景 | 谁用 | 得到什么
工单分流 | 客服团队 | 每个团队和每个是非问题的概率
文档检查 | 分析师 | 每个问题的带类型答案、引文或指点
结构化提取 | 开发者 | 不需要文本解析的输出
如何设置:你需要 Python 3.12、PyTorch 2.14、Hugging Face hub 包和一块 80 GB 的 GPU。模型卡把这些版本固定为测得它数据时所用的版本。
hf download mukaddamzaid/amos-1-large --local-dir amos-1-large
pip install ./amos-1-large/serve
python -m amos.serve amos-1-large --device cuda --port 8000 --max-len 131072
如何使用:向运行中的服务器的 systemone 端点发一个 POST 请求,在 state 里放案例,再放上你带类型的问题。模型卡展示了下面这个请求体,它对一张发票问了两个问题。
{
"state": "Invoice INV-2231 for £306.00 was charged to my card twice. Please refund one.",
"questions": {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
"team": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": null, "technical": null, "sales": null}}
}
}
Tool | What it does
noul | 是非题
choice | 从最多 255 个选项里选一个
score | 给某样东西打分
multi | 选出所有适用的
span | 引用文本中的一段
region | 指出照片里的某个位置,照片放在 images 里发送
示例:你发送一条发票投诉,说信用卡被扣了两次款。你问客户是否想退款,以及该由哪个团队处理,选项有 billing、technical 和 sales。回复会给出每个问题的每个答案的概率。
新手与专家:如果你刚接触,可以把它想成一张会自己填写的表单。你写好问题和允许的答案,模型返回每个答案有多大可能。第一件小事是用你自己的文字试一下模型卡里的发票例子。
如果你熟悉这个领域,它在一个 27B 的 Qwen 基础模型上一次前向推理就回答所有问题,答案头放在 heads.pt,引文解码设置放在 calibration.json。模型卡报告了它在带类型决策测试集和 Decision Bench 上的结果,并说明竞争模型是它自己跑的,只有一个用的是其作者自己公布的数字。
文本、JSON 或照片形式的案例
加入带类型的问题
对模型做一次前向推理
每个允许答案的概率
注意事项:模型卡列出了这些限制。它是四个 Amos 1 模型里最慢的,像整条条款这样的长引文可能被截短,而且只支持英语。一个请求最长可以有 131,072 个令牌。
Title: 模型卡报告的带类型决策准确率
Microsoft-Decision-1: 79.5 百分比
Decider 1: 76.8 百分比
Amos 1 large: 76.1 百分比
Perplexity Decider: 73.9 百分比
Clef: 72.5 百分比
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download mukaddamzaid/amos-1-large
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Amos 1 large 本页 | 694 | 28 | — | apache-2.0 | |
| Drex DLM共有 system-one · classification · decision-model | 177 | 25 | 8.2B | cc-by-nc-4.0 | |
| basal-omni-1.0-ultra共有 calibration · classification · decision-model | 3,831 | 43 | 31.3B | apache-2.0 | |
| H2O-Lightning-4B共有 calibration · decision-model · safetensors | 10,530 | 107 | 4.7B | apache-2.0 | |
| pplx-decider-v1.1-27b共有 classification · decision-model · safetensors | 4,065 | 182 | 26.1B | apache-2.0 | |
| Pusula共有 decision-model · safetensors | 23 | 2 | — | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
perplexity-ai · 工具包
根据文字和图片为一个决策挑出最合适的选项,比如哪个团队应该处理一条请求,并给出每个选项的概率,适合构建分流和审核工作流的开发者。
numind · 工具包
以文本或图像读取文档,按你要的字段填写 JSON 模板,或把页面转成 Markdown。这是一个 4B 模型,适合处理扫描件、表单和发票的团队。
nace-ai · 工具包
一次推理就对一份文档的是非题、选择题和打分题给出每个选项的概率。这是 Nace.AI 的 8B 决策模型,你可以自己运行,许可证为非商业。