Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
为给定的状态,给候选答案、动作或工具名各打一个概率,而不是写文字。这是建在冻结的 Qwen3-8B 编码器上的快速决策模型,适合智能体和分流工具的构建者。
CLM-v0.1-8B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install contrastive-lm vllm serve Qwen/Qwen3-8B --served-model-name qwen3-8b --runner pooling --max-model-len 2048 --port 8090 & clm-serve
CLM-v0.1-8B 是一个对比语言模型,用来快速做决策,而不是写文字。两个小的投影头,一个负责状态,一个负责动作,加在冻结的 Qwen3-8B 编码器上方。它们用双向 InfoNCE 损失学习把状态和正确的动作配对。你给它一个状态和一些选项,它为每个选项返回一个概率。
如果你是开发者,在构建智能体或分流工具,需要的是快速的打分决策,而不是生成的文字,它很适合你。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 客户支持 | 支持工具的开发者 | 针对客户消息提出带类型的问题 | 为一条发票投诉的紧急程度、团队和不满程度打分 |
| 智能体 | 智能体构建者 | 给候选工具名或下一步动作排序 | 最合适的工具名得到最高的概率 |
| 软件工程 | 验证智能体输出的团队 | 用微调过的头给候选方案打分 | 模型卡报告微调后的头在 DeepSWE 上得到 81.6 |
如果你需要它替你写文字,可以跳过它,因为它只给你提供的候选打分。
| Use case | Who | What they get back |
|---|---|---|
| 针对状态的带类型问题 | 支持和产品开发者 | 是非、选择和评分问题的概率 |
| 给自由形式的候选排序 | 智能体构建者 | 带有每个候选概率的排序列表 |
| 针对任务微调 | 机器学习工程师 | 低成本训练出来的头,因为只有头会变 |
你需要 Python、这个包,以及编码器的服务器。
pip install contrastive-lm vllm serve Qwen/Qwen3-8B --served-model-name qwen3-8b --runner pooling --max-model-len 2048 --port 8090 & clm-serve
如果想用 Hugging Face 工具自己下载模型文件,用这两行:
pip install -U huggingface_hub hf download Contrastive-LM/CLM-v0.1-8B
创建一个客户端,然后发送一个状态和带类型的问题。每个答案都带有每个选项的概率。模型卡的示例问的是一条客户消息:
from clm import CLMClient, Choice, Noul, Score
client = CLMClient()
r = client.system_one(
state="Customer: my invoice was charged twice and nobody answers the phone!",
questions={
"urgency": Noul(instructions="Is this urgent?"),
"department": Choice(instructions="Which team should handle this?",
criteria={"billing": "Charges, invoices, refunds",
"technical": "Bugs and outages"}),
"frustration": Score(instructions="How frustrated is the customer?",
criteria=["Calm", "Frustrated", "Very angry"]),
},
)
print(r.answers["department"].choice) # billing
print(r.answers["department"].probabilities) # {'billing': 0.93878, 'technical': 0.06122}| Tool | What it does |
|---|---|
| clm-serve | 启动 CLM 的 API 和网页演示场,首次运行时获取检查点 |
| CLMClient | 发送状态和带类型问题的 Python 客户端 |
| Choice, Noul, Score | 问题类型:选一个选项、回答是或否,或按有序等级评分 |
| Engine.rank | 给自由形式的候选排序,比如 best-of-N 方案、工具名或下一步动作 |
你发送一位客户的消息,他被扣了两次款,又联系不上任何人,并附上三个问题:是否紧急、该由哪个团队处理、客户有多不满。模型卡显示 department 的答案是 billing,概率接近 0.94,technical 约为 0.06。
把它想成一个快速的裁判,从你提供的选项中挑选。第一个小尝试是运行 clm-serve,在它的网页演示场里输入一条简短的消息和几个选项。
只有两个头会被训练,Qwen3-8B 编码器保持冻结,所以微调的成本很低。每个状态和每个动作都经过各自的编码步骤,所以为动作算好的嵌入可以之后复用。模型卡报告说,在大约 1k 个候选时,它比 Jev 快 13 倍。训练用了大约 60M 条 Nemotron 问答对、大约 30M 条合成的难负例,以及大约 1M 条智能体轨迹。
不做任何微调,模型卡报告的结果在电脑操作、游戏和工具调用上接近 Jev,延迟最多低 9 倍。下面的分数来自微调过的头,而不是原样使用的这个检查点。
为给定的状态,给候选答案、动作或工具名各打一个概率,而不是写文字。这是建在冻结的 Qwen3-8B 编码器上的快速决策模型,适合智能体和分流工具的构建者。
由 Contrastive-LM 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:CLM-v0.1-8B 是一个对比语言模型,用来快速做决策,而不是写文字。两个小的投影头,一个负责状态,一个负责动作,加在冻结的 Qwen3-8B 编码器上方。它们用双向 InfoNCE 损失学习把状态和正确的动作配对。你给它一个状态和一些选项,它为每个选项返回一个概率。
适合谁:如果你是开发者,在构建智能体或分流工具,需要的是快速的打分决策,而不是生成的文字,它很适合你。
Industry | Who uses it | How they use it | Example
客户支持 | 支持工具的开发者 | 针对客户消息提出带类型的问题 | 为一条发票投诉的紧急程度、团队和不满程度打分
智能体 | 智能体构建者 | 给候选工具名或下一步动作排序 | 最合适的工具名得到最高的概率
软件工程 | 验证智能体输出的团队 | 用微调过的头给候选方案打分 | 模型卡报告微调后的头在 DeepSWE 上得到 81.6
如果你需要它替你写文字,可以跳过它,因为它只给你提供的候选打分。
用在哪里:
Use case | Who | What they get back
针对状态的带类型问题 | 支持和产品开发者 | 是非、选择和评分问题的概率
给自由形式的候选排序 | 智能体构建者 | 带有每个候选概率的排序列表
针对任务微调 | 机器学习工程师 | 低成本训练出来的头,因为只有头会变
如何设置:你需要 Python、这个包,以及编码器的服务器。
pip install contrastive-lm
vllm serve Qwen/Qwen3-8B --served-model-name qwen3-8b --runner pooling --max-model-len 2048 --port 8090 &
clm-serve
如果想用 Hugging Face 工具自己下载模型文件,用这两行:
pip install -U huggingface_hub
hf download Contrastive-LM/CLM-v0.1-8B
如何使用:创建一个客户端,然后发送一个状态和带类型的问题。每个答案都带有每个选项的概率。模型卡的示例问的是一条客户消息:
from clm import CLMClient, Choice, Noul, Score
client = CLMClient()
r = client.system_one(
state="Customer: my invoice was charged twice and nobody answers the phone!",
questions={
"urgency": Noul(instructions="Is this urgent?"),
"department": Choice(instructions="Which team should handle this?",
criteria={"billing": "Charges, invoices, refunds",
"technical": "Bugs and outages"}),
"frustration": Score(instructions="How frustrated is the customer?",
criteria=["Calm", "Frustrated", "Very angry"]),
},
)
print(r.answers["department"].choice) # billing
print(r.answers["department"].probabilities) # {'billing': 0.93878, 'technical': 0.06122}
Tool | What it does
clm-serve | 启动 CLM 的 API 和网页演示场,首次运行时获取检查点
CLMClient | 发送状态和带类型问题的 Python 客户端
Choice, Noul, Score | 问题类型:选一个选项、回答是或否,或按有序等级评分
Engine.rank | 给自由形式的候选排序,比如 best-of-N 方案、工具名或下一步动作
示例:你发送一位客户的消息,他被扣了两次款,又联系不上任何人,并附上三个问题:是否紧急、该由哪个团队处理、客户有多不满。模型卡显示 department 的答案是 billing,概率接近 0.94,technical 约为 0.06。
新手与专家:把它想成一个快速的裁判,从你提供的选项中挑选。第一个小尝试是运行 clm-serve,在它的网页演示场里输入一条简短的消息和几个选项。
只有两个头会被训练,Qwen3-8B 编码器保持冻结,所以微调的成本很低。每个状态和每个动作都经过各自的编码步骤,所以为动作算好的嵌入可以之后复用。模型卡报告说,在大约 1k 个候选时,它比 Jev 快 13 倍。训练用了大约 60M 条 Nemotron 问答对、大约 30M 条合成的难负例,以及大约 1M 条智能体轨迹。
用 Qwen3-8B 编码器对状态编码
让它通过状态头
用动作头对每个候选编码
按相似度把状态和动作配对
为每个候选返回一个概率
注意事项:不做任何微调,模型卡报告的结果在电脑操作、游戏和工具调用上接近 Jev,延迟最多低 9 倍。下面的分数来自微调过的头,而不是原样使用的这个检查点。
Title: 微调后的头的报告得分
DeepSWE: 81.6 %
Terminal-Bench 2.1: 87.6 %
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Contrastive-LM/CLM-v0.1-8B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 7 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| CLM-v0.1-8B 本页 | 1,092 | 794 | — | apache-2.0 | |
| hs-rerank-1共有 reranker · text-ranking | 1,148,007 | 6 | 114M | mit | |
| hs-decide-1-flash共有 reranker · text-ranking | 858 | 20 | 752M | apache-2.0 | |
| AsteroRank-Lepton-GGUF共有 reranker · text-ranking | 626 | 3 | 4.8B | cc-by-nc-4.0 | |
| AsteroRank-Lepton共有 reranker · text-ranking | 58 | 7 | 4.8B | cc-by-nc-4.0 | |
| Qwen3-Reranker-0.6B共有 text-ranking | 1,251,943 | 439 | 596M | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。