Qwen3.8-27B-Splash

Qwen3.8-27B-Splash

通过 Inco AI 的 Splash 引擎在 Apple 芯片 Mac 上运行 Qwen3.8-27B，一个包里含 4-bit 模型、DFlash 2 草稿模型和视觉编码器。只能在 Splash 里使用。

由 incoai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Qwen3.8-27B-Splash 是为 Splash 打包的 Qwen3.8-27B，Splash 是 Inco AI 为 Apple 芯片打造的开源推理引擎。这个包里有 4-bit 模型、用于加速解码的 DFlash 2 草稿模型、一个视觉编码器和分词器。Transformers 和 MLX 都无法加载它，所以只能用 Splash 来运行。

适合谁：适合想在本地运行 27B 模型，并让自己的编程智能体和应用通过 API 调用它的 Mac 用户和开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在 Mac 上为编程智能体运行本地模型 | 终端智能体背后的本地助手
IT 运维 | 小型团队 | 用一台 Mac 提供私有模型服务 | 一个内部聊天服务器
研究 | 机器学习研究人员 | 测量 Apple 芯片上的本地推理速度 | 解码和预填充的计时测试
内容工作 | 写作者和分析人员 | 不用云服务就能询问图片和 PDF | 保存在本机的 PDF 摘要

如果你没有内存充足的较新 Apple 芯片 Mac，可以跳过它，因为它至少需要 36 GB。

用在哪里：

• M3 芯片或更新的 Mac，运行 macOS 26.4 或更高版本
• 终端，通过 splash 命令
• OpenCode、Claude Code、Codex 和 Hermes 等编程智能体，splash 可以接入它们

Use case | Who | What they get back
本地聊天服务器 | 开发者 | 一个兼容 OpenAI Chat Completions、Responses 和 Anthropic Messages 的 API
智能体后端 | 智能体用户 | 编程智能体背后的本地模型
图片和 PDF 输入 | 分析人员 | 针对图片和内嵌 PDF 的回答

如何设置：

• M3 芯片或更新的 Mac，以及 macOS 26.4 或更高版本
• Homebrew
• 36 GB 统一内存，建议 48 GB 或更多
• 首次下载需要约 17.4 GB 磁盘空间

1. 用 Homebrew 安装 Splash。
2. 启动服务器并指定这个模型。
3. 等待 Ready 提示，它会在下载、校验和内存检查之后出现。

brew install incoai/tap/splash
splash serve --model incoai/Qwen3.8-27B-Splash

如何使用：服务器报告 Ready 之后，在浏览器里打开它打印出的本地页面，或者从另一个终端接入你已有的智能体。推理默认开启，等级为 xhigh。

splash opencode    # or: splash claude / splash codex / splash hermes

Tool | What it does
splash serve | 为这个模型启动本地服务器
splash opencode | 接入 OpenCode，另有 claude、codex 和 hermes 可选
reasoning_effort | 可取 low、medium、xhigh 或 none
--max-memory | 内存使用的上限设置
--max-context | 上下文长度的上限设置

示例：你启动服务器，等到 Ready，然后在浏览器页面里问“Explain speculative decoding in one sentence”。模型用文字回答，推理过程单独以 reasoning_content 返回。

新手与专家：先用那两条命令和浏览器页面，试一个简短的问题。服务器只在你的 Mac 上开放，默认不需要认证，所以在进一步对外开放之前，请先设置 API 密钥。

这个包里有一个 14.1 GiB 的 4-bit 目标模型，每层一个打包文件。它还包含 1.2 GiB 的 DFlash 2 草稿模型和 0.9 GiB 的 bf16 视觉编码器。清单为每个文件记录 SHA-256。在 M5 Pro 上，模型卡报告短提示的解码速度为 74 tok/s，32K 提示的缓存重放在 282 ms 内出第一个 token。

用 Homebrew 安装 Splash
用该模型运行 splash serve
包被下载并校验
服务器报告 Ready
应用和智能体调用 API

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 首次运行时下载这个包，服务器只在你自己的 Mac 上应答
• Not for: 在 Splash 之外使用，因为这个包无法在 Transformers 或 MLX 中加载
• Not for: 不满足所述芯片、macOS 和内存要求的 Mac

Title: 在 M5 Pro 上测得的 Qwen3.8-27B 速度
Decode, short prompt: 74 tok/s
Prefill, 32K prompt: 363 tok/s
Decode, 4 concurrent short prompts: 170 tok/s

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：splash
• 最近 30 天下载：0
• 点赞：187
• 许可证：apache-2.0
• 基于：mlx-community/Qwen3.8-27B-4bit
• 标签：splash, apple-silicon, metal, local-inference, dflash2, speculative-decoding, qwen3.8, 4-bit, text-generation

链接

• 模型：https://huggingface.co/incoai/Qwen3.8-27B-Splash
• 文件：https://huggingface.co/incoai/Qwen3.8-27B-Splash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download incoai/Qwen3.8-27B-Splash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。