Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
帮助完成智能体式编码,包含两个在 PostgreSQL 引擎任务上训练的模型。Slonik-27B 和 Slonik-9B 来自 Postgres Professional,适合从事数据库代码和编码智能体的开发者。
Slonik 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download dglhf/Slonik
Slonik 是一对用于智能体式编码的语言模型,即 Slonik-27B 和 Slonik-9B,由 Postgres Professional 开发。它们在 PostgreSQL 引擎相关工作上训练:修复源代码、编写内置 C 函数和编写扩展,并以可执行的测试作为反馈。团队随后检验了这些提升能否迁移到一般的软件工程任务上。
适合从事 PostgreSQL 内部开发的开发者,以及研究如何根据测试结果学习的编码智能体的研究人员。模型权重采用 Apache 2.0 许可证。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 数据库 | PostgreSQL 贡献者 | 请模型协助处理源码级修复和 C 函数 | 请它为某个扩展起草一个内置函数的初稿 |
| 软件 | 构建编码智能体的团队 | 在自己的环境里把它当作智能体背后的模型 | 用 vLLM 部署 27B 文件夹,并让智能体指向它 |
| 研究 | 机器学习研究人员 | 研究在引擎环境中的训练如何迁移到一般编码 | 在自己的任务上比较 9B 和 27B 检查点 |
如果你只想要一个日常闲聊的小模型,可以跳过它,因为它面向编码工作。
| Use case | Who | What they get back |
|---|---|---|
| 讲解引擎内部原理 | 开发者 | 一份书面解释,例如 MVCC 可见性如何工作 |
| 智能体式编码 | 智能体构建者 | 可以在开启工具调用解析的情况下部署的模型 |
| 研究基线 | 研究人员 | 两个 BF16 检查点,可并排评测 |
pip install -U huggingface_hub hf download dglhf/Slonik
pip install "transformers==5.9.0" "accelerate==1.14.0"
模型卡里的 transformers 示例会从选定的子文件夹加载分词器和模型,通过聊天模板构建提示词并关闭思考模式,再用采样方式最多生成 512 个新 token。
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
model_id = "dglhf/Slonik"
subfolder = "27B"
tokenizer = AutoTokenizer.from_pretrained(model_id, subfolder=subfolder)
model = AutoModelForImageTextToText.from_pretrained(
model_id, subfolder=subfolder, dtype=torch.bfloat16, device_map="auto",
)
model.eval()
messages = [{"role": "user", "content": "Explain how PostgreSQL MVCC visibility works."}]
prompt = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True, enable_thinking=False,
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model.generate(
**inputs, max_new_tokens=512, do_sample=True,
temperature=1.0, top_p=0.95, top_k=20,
)
print(tokenizer.decode(outputs[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))把 subfolder 的值改成 9B,就能加载较小的模型。要用 vLLM 部署,先用 snapshot_download 只下载一个文件夹,再对这个文件夹启动服务器。
from huggingface_hub import snapshot_download
snapshot_download(
"dglhf/Slonik",
allow_patterns=["27B/*", "LICENSE", "NOTICE", "licenses/*"],
local_dir="./Slonik",
)vllm serve ./Slonik/27B \
--served-model-name Slonik-27B \
--language-model-only --max-model-len 32768 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder \
--default-chat-template-kwargs '{"enable_thinking": false}'| Tool | What it does |
|---|---|
| AutoModelForImageTextToText | 在 transformers 中加载所选的 Slonik 文件夹 |
| apply_chat_template | 根据你的消息构建提示词 |
| snapshot_download | 只下载你列出的文件夹和许可证文件 |
| vllm serve | 把下载好的文件夹部署成模型接口 |
你通过模型卡的示例脚本发送消息 "Explain how PostgreSQL MVCC visibility works."。脚本会打印出一份书面解释,按示例的设置在 512 个新 token 处截断。
这些是大型模型,所以先读模型卡,并且先试较小的 9B 文件夹,再试 27B。一个好的起步是运行上面的 transformers 示例,并把 subfolder 设为 9B。
这两个模型的起点不同,分别是 Qwen3.8-27B 和 Qwen3.5-9B,都经过继续预训练、监督微调,再用基于测试的奖励做强化学习。由于底座不同,模型卡说这样的比较无法单独看出参数量的影响。9B 的训练在被评测的检查点之后又继续了,而报告里没有对这个后期阶段做完整评测。
帮助完成智能体式编码,包含两个在 PostgreSQL 引擎任务上训练的模型。Slonik-27B 和 Slonik-9B 来自 Postgres Professional,适合从事数据库代码和编码智能体的开发者。
由 dglhf 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Slonik 是一对用于智能体式编码的语言模型,即 Slonik-27B 和 Slonik-9B,由 Postgres Professional 开发。它们在 PostgreSQL 引擎相关工作上训练:修复源代码、编写内置 C 函数和编写扩展,并以可执行的测试作为反馈。团队随后检验了这些提升能否迁移到一般的软件工程任务上。
适合谁:适合从事 PostgreSQL 内部开发的开发者,以及研究如何根据测试结果学习的编码智能体的研究人员。模型权重采用 Apache 2.0 许可证。
Industry | Who uses it | How they use it | Example
数据库 | PostgreSQL 贡献者 | 请模型协助处理源码级修复和 C 函数 | 请它为某个扩展起草一个内置函数的初稿
软件 | 构建编码智能体的团队 | 在自己的环境里把它当作智能体背后的模型 | 用 vLLM 部署 27B 文件夹,并让智能体指向它
研究 | 机器学习研究人员 | 研究在引擎环境中的训练如何迁移到一般编码 | 在自己的任务上比较 9B 和 27B 检查点
如果你只想要一个日常闲聊的小模型,可以跳过它,因为它面向编码工作。
用在哪里:
Use case | Who | What they get back
讲解引擎内部原理 | 开发者 | 一份书面解释,例如 MVCC 可见性如何工作
智能体式编码 | 智能体构建者 | 可以在开启工具调用解析的情况下部署的模型
研究基线 | 研究人员 | 两个 BF16 检查点,可并排评测
如何设置:
pip install -U huggingface_hub
hf download dglhf/Slonik
pip install "transformers==5.9.0" "accelerate==1.14.0"
如何使用:模型卡里的 transformers 示例会从选定的子文件夹加载分词器和模型,通过聊天模板构建提示词并关闭思考模式,再用采样方式最多生成 512 个新 token。
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
model_id = "dglhf/Slonik"
subfolder = "27B"
tokenizer = AutoTokenizer.from_pretrained(model_id, subfolder=subfolder)
model = AutoModelForImageTextToText.from_pretrained(
model_id, subfolder=subfolder, dtype=torch.bfloat16, device_map="auto",
)
model.eval()
messages = [{"role": "user", "content": "Explain how PostgreSQL MVCC visibility works."}]
prompt = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True, enable_thinking=False,
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model.generate(
**inputs, max_new_tokens=512, do_sample=True,
temperature=1.0, top_p=0.95, top_k=20,
)
print(tokenizer.decode(outputs[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))
把 subfolder 的值改成 9B,就能加载较小的模型。要用 vLLM 部署,先用 snapshot_download 只下载一个文件夹,再对这个文件夹启动服务器。
from huggingface_hub import snapshot_download
snapshot_download(
"dglhf/Slonik",
allow_patterns=["27B/*", "LICENSE", "NOTICE", "licenses/*"],
local_dir="./Slonik",
)
vllm serve ./Slonik/27B \
--served-model-name Slonik-27B \
--language-model-only --max-model-len 32768 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder \
--default-chat-template-kwargs '{"enable_thinking": false}'
Tool | What it does
AutoModelForImageTextToText | 在 transformers 中加载所选的 Slonik 文件夹
apply_chat_template | 根据你的消息构建提示词
snapshot_download | 只下载你列出的文件夹和许可证文件
vllm serve | 把下载好的文件夹部署成模型接口
示例:你通过模型卡的示例脚本发送消息 "Explain how PostgreSQL MVCC visibility works."。脚本会打印出一份书面解释,按示例的设置在 512 个新 token 处截断。
新手与专家:这些是大型模型,所以先读模型卡,并且先试较小的 9B 文件夹,再试 27B。一个好的起步是运行上面的 transformers 示例,并把 subfolder 设为 9B。
这两个模型的起点不同,分别是 Qwen3.8-27B 和 Qwen3.5-9B,都经过继续预训练、监督微调,再用基于测试的奖励做强化学习。由于底座不同,模型卡说这样的比较无法单独看出参数量的影响。9B 的训练在被评测的检查点之后又继续了,而报告里没有对这个后期阶段做完整评测。
选择 27B 或 9B 文件夹
加载分词器和模型
用聊天模板构建提示词
用采样方式生成回复
把回复解码成文本
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download dglhf/Slonik
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 7 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Slonik 本页 | 0 | 5 | — | apache-2.0 | |
| Slonik-27B-oQ8-mtp共有 postgresql · slonik · code | 498 | 3 | 27.3B | apache-2.0 | |
| Terminal-RSI-27B共有 reinforcement-learning · code · text-generation | 2,536 | 33 | 27.8B | apache-2.0 | |
| ColGrep-Agent-2B共有 reinforcement-learning · code · text-generation | 1,141 | 38 | 2.5B | apache-2.0 | |
| Maincoder-1B共有 reinforcement-learning · code · text-generation | 451 | 101 | 1B | apache-2.0 | |
| Sabi-Noema共有 reinforcement-learning · text-generation · transformers | 1,810 | 55 | 27.4B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。