Slonik-27B-oQ8-mtp

Slonik-27B-oQ8-mtp

用一个 27B 编码模型帮你编写和修改 PostgreSQL 源代码，8 位量化，可通过 oMLX 在 Apple Silicon Mac 上本地运行。适合想要本地助手的 PostgreSQL 开发者。

由 kakoka 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Slonik 27B 来自 Postgres Professional，是一个编码模型。它的训练围绕修改 PostgreSQL 自身源码的工作展开。这个版本是为 Apple Silicon Mac 上的 MLX 准备的纯文本 8 位 oQ8 量化版本。它保留了模型原生的多词元预测权重，所以 oMLX 可以用 Lightning MTP 设置让它跑得更快。

适合谁：适合拥有大内存 Apple Silicon Mac、想让编码模型运行在自己机器上的 PostgreSQL 开发者和数据库工程师。

行业 | 谁在用 | 怎么用 | 例子
数据库工程 | PostgreSQL 贡献者 | 针对 PostgreSQL 源码要补丁和测试 | 为查询规划器缺陷写的 C 修复
数据平台 | 数据库管理员 | 在本地起草和审查 SQL 与查询计划 | 重写一个队列轮询查询
软件 | 使用 Mac 的开发者 | 在 Apple Silicon Mac 上离线运行编码模型 | 工作站上的私有编码助手
研究 | 量化测试者 | 比较 8 位、6 位和 4 位版本的速度 | 每个版本的解码速度中位数

如果你不用 Apple Silicon Mac，或者需要图像输入，可以跳过它，因为这是纯文本版本。

用在哪里：它在 oMLX（一个本地 MLX 服务器应用）中运行，适用于 Apple Silicon 的 Mac。

• Apple Silicon Mac 上的 oMLX
• MLX，也就是这些权重所针对的 Apple 机器学习框架
• 下载包里自带的分词器和聊天模板

使用场景 | 谁用 | 得到什么
PostgreSQL 代码修改 | 贡献者 | 模型提出的补丁和回归测试
SQL 和执行计划工作 | 数据库管理员 | 结果与原始结果一致的 SQL 语句
本地编码聊天 | 开发者 | 来自你自己 Mac 上模型的快速文字回答

如何设置：你需要一台内存足够放下权重的 Apple Silicon Mac，权重在磁盘上占 29.08 GB，还需要 oMLX 应用。

• 统一内存充足的 Apple Silicon Mac
• oMLX 应用
• 约 29.08 GB 磁盘空间放权重

1. 把仓库下载到本地文件夹。
2. 在 oMLX 中添加这个文件夹。
3. 为这个模型开启 Lightning MTP。

hf download kakoka/Slonik-27B-oQ8-mtp --local-dir ./Slonik-27B-oQ8-mtp

如何使用：在 oMLX 里添加文件夹并开启 Lightning MTP 之后，就在那里与模型聊天。分词器和聊天模板随文件一起提供，所以不需要额外设置。

工具 | 作用
hf download | 把模型下载到本地文件夹
oMLX | 在 Mac 上加载并提供模型服务
Lightning MTP | 用保留下来的多词元预测权重加快解码
Text Only mode | 去掉这个版本没有的视觉部分

示例：描述一个 PostgreSQL 规划器缺陷：OR 条件让分区裁剪跳过了 DEFAULT 分区，丢掉了一行数据，然后请它给出修复。模型卡报告说，第一次尝试就给出了 C 语言修复，后续追问又补上了带预期输出的回归测试。

新手与专家：量化就是用更少的位数存储模型的数字，让它占用更少内存。这个模型是一个了解 PostgreSQL 源码的编码模型，被压缩到 8 位。第一个小尝试，是运行下载命令，然后在 oMLX 里和它聊天。

对熟悉这个领域的人来说，这个版本把权重存成 64 个一组的 8 位仿射数值，由 oMLX 0.7.4.dev1 完成转换。其余的浮点张量保持 BF16，原生的 15 个 MTP 张量全部保留。取舍在于内存与速度和准确率之间，因为模型卡在一台 Mac Studio 上比较了 oQ8、oQ6e 和 oQ4e 三个版本。

从 BF16 的 Slonik 27B 检查点开始
在 oMLX 中量化为 8 位，仅文本
保留 15 个 MTP 权重张量
把文件夹添加到 oMLX
开启 Lightning MTP 并聊天

注意事项：下面的每个速度数字都是在关闭思考的情况下，于一台顶配 Mac Studio 上测得的。请把这些数字当作粗略的参考。

• 测试范围：速度数字是一条提示词、三次预热运行的中位数，所以只是一个数据点。
• SQL 检查：提出的 SQL 在全部 72 项检查中，结果都与原始结果一致，包括行的顺序。
• 修复检查：最终补丁通过了 15 项查询和执行计划检查，以及全部 231 项核心回归测试。

Title: oMLX 中的解码速度中位数
开启 Lightning MTP 的 oQ4e: 78.98 tok/s
开启 Lightning MTP 的 oQ8: 61.88 tok/s
开启 Lightning MTP 的 oQ6e: 57.71 tok/s
关闭 Lightning MTP 的 oQ8: 27.92 tok/s

• License: Apache 2.0，源检查点和这个量化副本都适用。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务，不过它需要一台内存充足的 Mac。
• Data it reaches: 只有你给它的提示词，以及你下载的文件。
• Not for: 图像输入，因为这是纯文本版本；也不适合 Apple Silicon Mac 之外的机器。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：mlx
• 参数量：27.3B
• Weights: about 109 GB in U32
• Formats: Safetensors
• 最近 30 天下载：498
• 点赞：3
• 许可证：apache-2.0
• 基于：dglhf/Slonik
• 标签：safetensors, qwen3_5, omlx, slonik, quantized, postgresql, code, text-generation, conversational, 8-bit

链接

• 模型：https://huggingface.co/kakoka/Slonik-27B-oQ8-mtp
• 文件：https://huggingface.co/kakoka/Slonik-27B-oQ8-mtp/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kakoka/Slonik-27B-oQ8-mtp

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。