Maple-Preview

Maple-Preview

一个 20B 的三值权重推理模型，每个词元激活约 1B 参数。为快速的设备端使用而设计，检查点为 5.31 GB，上下文为 131,072 词元。这是一个预览版，在智能体任务上较弱。

由 deepgrove 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Maple-Preview 是 DeepGrove 的开源推理模型，叫 20B-A1B，是因为它有 20B 参数，每个词元只用其中约 1B。它的权重是三值的，模型卡列出的检查点为 5.31 GB。它采用 24 层设计，有 256 个专家，其中 8 个处于激活状态，上下文为 131,072 词元。制作者把它定位为一个侧重原始推理的预览版。

适合谁：如果你是开发者或研究者，想要一个小而快、能在笔记本级别的机器上运行的推理模型，并且接受它是早期版本，它很适合你。

Industry | Who uses it | How they use it | Example
设备端 AI | 应用开发者 | 在本地运行推理模型 | 模型卡报告在 M4 Mac mini 上为 218 tok/s
教育与研究 | 数学和科学学习者 | 一步步解决难题 | 模型卡说它能解决 IMO 级别的题目
模型研究 | 效率研究者 | 研究三值权重和稀疏专家 | 模型卡描述了 256 个专家、8 个激活的设计

如果你需要能调用工具的智能体，可以跳过它，因为模型卡说这个预览版在智能体基准上可能表现不佳。

用在哪里：

• CUDA 机器，通过仓库自带的 Transformers 代码
• Apple 芯片的 Mac，通过一个模型卡提到但没有给出名字的独立设备端运行时
• Windows、macOS 或 Linux，用 Python 下载文件

Use case | Who | What they get back
本地推理帮助 | 开发者 | 来自小而快的模型的逐步回答
数学和逻辑练习 | 学生和老师 | 难题的完整解答
速度和内存研究 | 研究者 | 一个位于模型卡速度与内存前沿上的模型

如何设置：你需要 Python，走 Transformers 路线的话还需要 CUDA GPU。

• 装有 Hugging Face 工具的 Python
• 对于 Transformers 代码，需要带有 Triton 和 FlashAttention 的 CUDA 环境
• 对于 Apple 芯片，需要模型卡 Mac 结果背后的独立运行时
• Hugging Face 列出的 BF16 权重约 40.4 GB，而模型卡写的是 5.31 GB 的检查点

1. 用 Python 安装 Hugging Face 工具。
2. 用下面的第二条命令下载仓库文件。
3. 选择路线：CUDA 上的 Transformers 代码，或设备端运行时。
4. 用一个推理问题给它提示。

pip install -U huggingface_hub
hf download deepgrove/maple-preview

如何使用：模型卡没有给出运行命令。仓库里的 Transformers 代码面向兼容的 CUDA 环境。卡上的 Mac 数字来自另一个运行时，所以比较速度之前请先确认你用的是哪一个。

Tool | What it does
Transformers | 在兼容的 CUDA 环境上加载模型
Triton and FlashAttention | 自带的 Transformers 代码需要它们
On-device runtime | 得出了模型卡里 Apple 芯片的速度结果
hf download | 取回仓库文件

示例：你在 CUDA 机器上加载模型，问它一道很难的数学题。它会对问题进行推理，并写出步骤。在制作者的测试里，Mac mini M4 用一个独立的运行时达到了 218 tok/s。

新手与专家：把它想成一个小而快的思考者，为适应日常硬件而造。第一个小尝试是在 CUDA 路线上问一道数学题。

它把稀疏专家和三值权重结合起来，所以每个词元只有 256 个专家中的 8 个在运行。注意力模式是 3:1 SWA-512:GA。模型卡声称它的推理处于同级别的顶端，速度比 Gemma 4、Qwen3.5 和 gpt-oss 快 5 到 16 倍。这些是制作者给的数字，而图表是在这里看不到的图片。

在 CUDA 或设备端运行时上加载模型
发送一个推理问题
每个词元只运行 256 个专家中的 8 个
模型写出它的推理步骤
读取回答并检查

注意事项：模型卡列出了这些属性。

Title: Maple-Preview 一览
Property | Value
模型 | 20B-A1B
M4 Mac mini 上的速度 | 218 tok/s
检查点 | 5.31 GB
上下文 | 131,072 词元
层数 | 24
专家 | 256，激活 8 个

• Limits: 用在智能体任务上的训练很少，通用强化学习的规模也很小
• Plans: 制作者打算在完整发布之前继续训练
• Language: 英文
• Other versions: 其他人已经发布了 16 个量化版本和 3 个微调版本
• License: MIT
• Cost to run: 没有提到
• Data it reaches: 你下载的文件和你在本地运行的提示词
• Not for: 智能体和工具调用的工作，因为模型卡警告这方面的结果较弱

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：20.2B
• Weights: about 40.4 GB in BF16; about 10.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,867
• 点赞：433
• 许可证：mit
• 语言：en
• Quantized versions: 16
• Fine-tunes: 3
• 标签：transformers, safetensors, text-generation, causal-lm, mixture-of-experts, reasoning, ternary, custom-code, conversational

链接

• 模型：https://huggingface.co/deepgrove/maple-preview
• 文件：https://huggingface.co/deepgrove/maple-preview/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download deepgrove/maple-preview

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。