Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
根据自然语言背景给出结构化决策:从选项中选一个、判断一个是非命题,或按评分标准给一项内容打分。适合构建智能体路由和分类的开发者。
Copernicus (31B) 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Poindexter-Labs/Copernicus-31B pip install -U torch transformers accelerate requests
Copernicus 是 Poindexter Labs 推出的 31B 参数决策模型。你的应用把一个情境和一个或多个问题发给它,它用明确的类型作答,比如带概率的选中选项,而不是自由文本。模型仓库里的一个小型 Python 服务器通过 /v1/systemone 端点提供这个功能。
它适合需要程序直接使用模型答案、不想去解析一段文字回复的开发者。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 客户支持 | 给工单分派的团队 | 把工单作为情境发过去,提一个选择题 | 团队问这张工单该交给 billing、identity 还是 technical |
| 软件开发 | 构建智能体的开发者 | 用选择题做智能体路由和工具选择 | 智能体问哪个工具适合这个请求 |
| 研究与验证 | 构建验证和证据流程的人 | 用 noul 或 score 问题判断一个说法或一项内容 | 研究者按有序评分标准给一个回答打分 |
需要模型写自由文本回复的人可以跳过它,因为它的设计目标是返回结构化的决策。
它以本地服务器的形式运行,你自己的代码通过 HTTP 调用它。
| Use case | Who | What they get back |
|---|---|---|
| 智能体路由 | 智能体开发者 | 一个选中的选项,附带概率和置信度 |
| 结构化分类 | 开发者 | 一个选择结果或一个分数,而不是一段文字 |
| 验证与证据核查 | 研究者 | 一条陈述为真的概率 |
先准备好下面几样东西。
pip install -U huggingface_hub hf download Poindexter-Labs/Copernicus-31B pip install -U torch transformers accelerate requests
先启动服务器,再向它发送决策请求。模型卡的第一种方式是通过 Hugging Face Transformers 在服务器内部加载检查点,处理文本问题。
python copernicus_server.py \ --model Poindexter-Labs/Copernicus-31B \ --backend hf \ --host 127.0.0.1 \ --port 8080
第二种方式是在单独的终端里启动 SGLang,然后用 sglang 后端和那个 SGLang 进程的地址运行同一个脚本。无论哪种方式,都先检查 /health 和 /v1/models 端点,再向 /v1/systemone 发送请求。每个请求包含一个状态和一组命名的问题,每个问题有类型、说明和判断标准。
| Type | Purpose | Output |
|---|---|---|
| choice | 从一组明确的选项里选一个 | 选中的键、概率和置信度 |
| noul | 判断一个是非命题 | 它为真的概率 |
| score | 按有序评分标准评估一项内容 | 期望分数、各等级的概率和置信度 |
| Tool | What it does |
|---|---|
| copernicus_server.py | 用 hf 或 sglang 后端运行 API 服务器 |
| copernicus_layout.py | 参考实现的一部分,放在服务器旁边 |
| /v1/systemone | 接收一个状态加若干问题,返回结构化的答案 |
| /health 和 /v1/models | 让你确认服务器已经起来 |
一位客户说同一个订单被扣了两次款。你把这句话作为状态发过去,附一个选择题,问哪个团队该处理,选项是 billing、identity 和 technical。你会收到一个选择答案,包含选中的键、概率和置信度。模型卡说明它自己的示例响应只是示意,不是实测。
可以把它看作一个回答单选题的模型,答案的形式是程序能读懂的。你给它一个简短的情境和选项,它返回所选项,再加上表示把握有多大的数字。你的第一小步是用 Hugging Face 后端启动服务器,检查它的健康端点。
它基于 PelaAI/KnowLine-31B-Gen1,提供的是决策接口,而不是聊天。Transformers 路线在进程内运行,SGLang 路线则把适配器和推理引擎拆成两个进程。代价在硬件上:31B 的检查点需要大量加速器显存,所以精度和 GPU 的选择很重要。
根据自然语言背景给出结构化决策:从选项中选一个、判断一个是非命题,或按评分标准给一项内容打分。适合构建智能体路由和分类的开发者。
由 Poindexter-Labs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Copernicus 是 Poindexter Labs 推出的 31B 参数决策模型。你的应用把一个情境和一个或多个问题发给它,它用明确的类型作答,比如带概率的选中选项,而不是自由文本。模型仓库里的一个小型 Python 服务器通过 /v1/systemone 端点提供这个功能。
适合谁:它适合需要程序直接使用模型答案、不想去解析一段文字回复的开发者。
Industry | Who uses it | How they use it | Example
客户支持 | 给工单分派的团队 | 把工单作为情境发过去,提一个选择题 | 团队问这张工单该交给 billing、identity 还是 technical
软件开发 | 构建智能体的开发者 | 用选择题做智能体路由和工具选择 | 智能体问哪个工具适合这个请求
研究与验证 | 构建验证和证据流程的人 | 用 noul 或 score 问题判断一个说法或一项内容 | 研究者按有序评分标准给一个回答打分
需要模型写自由文本回复的人可以跳过它,因为它的设计目标是返回结构化的决策。
用在哪里:它以本地服务器的形式运行,你自己的代码通过 HTTP 调用它。
Use case | Who | What they get back
智能体路由 | 智能体开发者 | 一个选中的选项,附带概率和置信度
结构化分类 | 开发者 | 一个选择结果或一个分数,而不是一段文字
验证与证据核查 | 研究者 | 一条陈述为真的概率
如何设置:先准备好下面几样东西。
pip install -U huggingface_hub
hf download Poindexter-Labs/Copernicus-31B
pip install -U torch transformers accelerate requests
如何使用:先启动服务器,再向它发送决策请求。模型卡的第一种方式是通过 Hugging Face Transformers 在服务器内部加载检查点,处理文本问题。
python copernicus_server.py \
--model Poindexter-Labs/Copernicus-31B \
--backend hf \
--host 127.0.0.1 \
--port 8080
第二种方式是在单独的终端里启动 SGLang,然后用 sglang 后端和那个 SGLang 进程的地址运行同一个脚本。无论哪种方式,都先检查 /health 和 /v1/models 端点,再向 /v1/systemone 发送请求。每个请求包含一个状态和一组命名的问题,每个问题有类型、说明和判断标准。
Type | Purpose | Output
choice | 从一组明确的选项里选一个 | 选中的键、概率和置信度
noul | 判断一个是非命题 | 它为真的概率
score | 按有序评分标准评估一项内容 | 期望分数、各等级的概率和置信度
Tool | What it does
copernicus_server.py | 用 hf 或 sglang 后端运行 API 服务器
copernicus_layout.py | 参考实现的一部分,放在服务器旁边
/v1/systemone | 接收一个状态加若干问题,返回结构化的答案
/health 和 /v1/models | 让你确认服务器已经起来
示例:一位客户说同一个订单被扣了两次款。你把这句话作为状态发过去,附一个选择题,问哪个团队该处理,选项是 billing、identity 和 technical。你会收到一个选择答案,包含选中的键、概率和置信度。模型卡说明它自己的示例响应只是示意,不是实测。
新手与专家:可以把它看作一个回答单选题的模型,答案的形式是程序能读懂的。你给它一个简短的情境和选项,它返回所选项,再加上表示把握有多大的数字。你的第一小步是用 Hugging Face 后端启动服务器,检查它的健康端点。
它基于 PelaAI/KnowLine-31B-Gen1,提供的是决策接口,而不是聊天。Transformers 路线在进程内运行,SGLang 路线则把适配器和推理引擎拆成两个进程。代价在硬件上:31B 的检查点需要大量加速器显存,所以精度和 GPU 的选择很重要。
你的应用发送状态和问题
copernicus_server.py 处理请求
31B 模型通过 HF 或 SGLang 运行
你拿回结构化的答案
注意事项:
Title: 权重大小(GB)
BF16: 62.5 GB
4 位估算: 15.6 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Poindexter-Labs/Copernicus-31B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 7 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Copernicus (31B) 本页 | 75 | 3 | 31.3B | apache-2.0 | |
| KnowLine-4B-Gen5.5-GGUF共有 decision-index · system-one · decision-model | 6,699 | 3 | 4.3B | apache-2.0 | |
| OneJev1.6-4B共有 system-one · decision-model · multimodal | 1,909 | 8 | 4.5B | apache-2.0 | |
| OneJev1.6-0.8B共有 system-one · decision-model · multimodal | 1,885 | 6 | 853M | apache-2.0 | |
| OneJev1.6-27B共有 system-one · decision-model · multimodal | 528 | 5 | 27.4B | apache-2.0 | |
| Jev-Omni共有 text-classification · decision-model · multimodal | 3,744 | 450 | 12B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。