Qwen3.8-27B Splash 8-bit

Qwen3.8-27B Splash 8-bit

在 Apple silicon 的 LM Studio 里，通过 Splash 运行时以 8-bit 运行 Qwen3.8-27B。这是一个非官方的包，比 4-bit 版本更接近原始模型，但速度更慢。

由 dmeight 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B Splash 8-bit 是社区对 Qwen3.8-27B 的重新打包，面向 LM Studio 在 Apple silicon 上提供的 Splash 运行时。主模型是 Q8_0 的 GGUF 文件，所以权重比官方 4-bit 包保留了更多精度。一个较小的草稿模型加快写作速度，视觉塔让它能读取图像。它独立于 Inco AI、LM Studio、阿里云和 Unsloth，所有权重都没有被改动。

适合谁：在 LM Studio 里运行本地模型的 Mac 用户，希望 8-bit 权重更接近原始模型，并且能接受较慢的写作速度。

Industry | Who uses it | How they use it | Example
软件开发 | 使用 Apple silicon Mac 的开发者 | 在 LM Studio 里用推测解码在本地运行 27B 模型 | 用 8-bit 权重提出编程问题
写作与研究 | 更看重保真度而非速度的人 | 选择 8-bit 而不是 4-bit 的包 | 用同一个提示词对比两个包的回答
本地 AI 爱好者 | Mac Studio 和笔记本用户 | 通过视觉塔测试图像输入 | 给模型一张图片并提问

如果你不在 Apple silicon 的 Mac 上使用 LM Studio，可以跳过它，因为这个包只适用于那种环境。

用在哪里：只能在启用了 Splash 运行时的 LM Studio 里使用，需要 Apple silicon M3 或更新的芯片。作者列出的系统要求是 macOS 26.4 或更高。

• LM Studio，并在设置里打开 Splash 运行时
• 搭载 Apple silicon M3 或更新芯片的 Mac
• 加载时约 32 GB 内存，下载大小为 34.8 GB

Use case | Who | What they get back
本地对话 | Mac 用户 | 来自 8-bit 27B 模型的回复
图像问题 | Mac 用户 | 会参考图片的回答
速度与准确度对比 | 爱好者 | 对比 8-bit 与官方 4-bit 包的方法

如何设置：在 LM Studio 里打开 Splash 运行时，然后从模型搜索里下载这个包。

• 受支持的 Mac 和较新的 macOS
• 启用了 Splash 运行时的 LM Studio
• 足够下载使用的磁盘空间

1. 打开 LM Studio，在设置里启用 Splash 运行时。
2. 搜索 dmeight/Qwen3.8-27B-Splash-8bit 并下载。
3. 加载显示为 Qwen3.8 27B Splash 8bit 的模型。

你也可以用 Python 下载文件：

pip install -U huggingface_hub
hf download dmeight/Qwen3.8-27B-Splash-8bit

如何使用：像使用其他模型一样，在 LM Studio 里与它对话。在 LM Studio 之外这个包不能用，模型卡指向原始来源。独立的 Splash 可以用下面的命令，从原始仓库构建同样的一套文件：

splash serve --model unsloth/Qwen3.8-27B-GGUF:Q8_0

Tool | What it does
LM Studio | 用 Splash 运行时运行这个包
splash serve | 在独立的 Splash 里从原始来源构建同样的一套文件
llama.cpp and Ollama | 可以使用普通的 GGUF 文件，但没有草稿模型的加速

示例：你启用 Splash 运行时，在 LM Studio 里加载 8-bit 包，并提出一个较长的写作问题。在模型卡的测试里，它的回答速度约为每秒 55 个 token，而官方 4-bit 包约为 91。

新手与专家：如果你刚接触这类模型，8-bit 表示权重比 4-bit 保留更多精度，代价是更多内存和更慢的输出。先在 LM Studio 里试用，并先确认你的 Mac 满足要求。

如果你熟悉这个领域，目标模型是 GGUF Q8_0 文件，草稿是 BF16 的 DFlash2 模型，Splash 在加载时把它量化为 4-bit。模型卡报告了目标接受草稿提议的比例，在采样下 8-bit 为 28.5%，4-bit 为 25.7%。

DFlash2 草稿模型提出 token
8-bit 的 Qwen3.8 目标模型检查它们
Splash 接受匹配的部分
LM Studio 显示回复

注意事项：模型卡列出了已知问题。LM Studio 把这个包标成 4bit，尽管权重是 8-bit。这个包依赖未公开记录的行为，更新可能会让它失效。在 LM Studio 能直接加载 8-bit 模型之前，它只是临时方案。

Title: 模型卡速度测试，写作时每秒 token 数
Package | Tokens per second
This package, 8-bit | 54.8
Official Splash, 4-bit | 91.2
LM Studio MLX 8-bit | 18.1

• License: Apache 2.0
• Cost to run: 未提及，需要 LM Studio 和合适的 Mac
• Data it reaches: 你在 LM Studio 里给它的提示词
• Not for: MLX 工具、独立的 Splash 或其他环境，因为这个包只适用于 LM Studio

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：splash
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：1,809
• 点赞：4
• 许可证：apache-2.0
• 基于：Qwen/Qwen3.8-27B
• 标签：splash, safetensors, gguf, qwen3_5, apple-silicon, metal, local-inference, dflash2, speculative-decoding, qwen3.8, 8-bit, lm-studio

链接

• 模型：https://huggingface.co/dmeight/Qwen3.8-27B-Splash-8bit
• 文件：https://huggingface.co/dmeight/Qwen3.8-27B-Splash-8bit/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download dmeight/Qwen3.8-27B-Splash-8bit

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。