Flint-DFlash2

Flint-DFlash2

一个 403M 参数的草稿模型，用 SGLang 里的推测解码加快 Flint 语言模型的服务速度，并且不改变输出。它不是独立的模型。

由 incoai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Flint-DFlash2 是 Flint 语言模型的 DFlash 2 草稿模型。它不是你能单独聊天的语言模型。它只在基于推测解码的服务环境里工作，先猜测接下来的词元，再由主模型来验证。

DFlash 2 是块扩散起草器。它一次前向传播就猜出一整段后续词元，并在每个位置给出多个候选。然后一个小型选择器选出一条一致的路径。

适合谁：适合部署 Flint 模型、想在同一块 GPU 上多出词元每秒的工程师。模型卡报告说，输出与普通解码完全一致。

Industry | Who uses it | How they use it | Example
AI 基础设施 | 推理工程师 | 给服务栈加入草稿模型 | 开启起草功能来部署 Flint
软件 | 自己托管 LLM 的团队 | 提高吞吐量而不改变回答 | 回复更快的编程助手
研究 | 解码研究者 | 研究块扩散起草 | 比较不同任务的接受长度

如果你不运行 Flint 模型，或者想要一个可以直接聊天的模型，可以跳过它。

用在哪里：它在运行 Flint 模型的 SGLang 服务器内部工作。

• SGLang，从模型卡验证过的提交安装
• CUDA 级别的 GPU，因为模型卡是在一块 NVIDIA GB300 上测量的
• 用来获取文件的 Linux 或 Windows 加 Python

Use case | Who | What they get back
更快的服务 | 推理工程师 | 比普通解码更多的每秒输出词元
回答相同 | 应用团队 | 与目标模型一致的贪心输出
并发负载 | 平台团队 | 在 1、8 和 32 个同时请求下都有提升

如何设置：你需要 Python、一台 GPU 服务器，以及支持 Flint 的 SGLang 版本。模型卡说 Flint 支持还在 SGLang 的一个未合并拉取请求里，所以你要安装作者验证过的那个提交。

• 带 pip 的 Python
• 适合部署 Flint 模型的 GPU
• RecursiveSI/flint 目标模型

1. 从 GitHub 克隆 SGLang 仓库并进入文件夹。
2. 获取并检出验证过的提交，然后以可编辑模式安装 SGLang。
3. 用 Flint 模型和这个草稿模型启动服务器。

cd sglang
git fetch origin 37bc771d2b253e2d87d27ace71297154874ee3b4
git checkout 37bc771d2b253e2d87d27ace71297154874ee3b4
pip install -e "python[all]"

sglang serve RecursiveSI/flint \
  --enable-fp32-lm-head \
  --reasoning-parser flint \
  --tool-call-parser flint \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Flint-DFlash2

如何使用：服务器启动后，像对任何 SGLang 服务器一样给它发请求。起草在后台进行，目标模型会验证每个起草的词元。

Tool | What it does
sglang serve | 启动模型服务器
--enable-fp32-lm-head | 使用 32 位浮点输出头，正如参数名所示
--reasoning-parser flint | 读取 Flint 的推理输出格式
--tool-call-parser flint | 读取 Flint 的工具调用格式
--speculative-algorithm DFLASH | 开启 DFlash 推测解码
--speculative-draft-model-path | 让服务器指向这个草稿模型

示例：你用上面的命令启动服务器，然后发一道数学应用题。在 GSM8K 上一次处理一个请求时，模型卡测得每秒输出 686.5 个词元，而普通解码是 316.7 个。

新手与专家：如果你是新手，可以把它想成一个帮手：先猜接下来的几个词，让主模型一次性检查。只有当你在自己的服务器上运行 Flint 时，它才有用。

如果你熟悉这个领域：起草器每次提出 8 个位置的块，每个验证步骤有 7 个草稿词元。两抽头动态卷积让块后半段的质量不衰减。解码是无损的，因为贪心输出与目标一致，采样也保持其分布。

起草器预测一整块词元
选择器挑出一条连贯路径
Flint 验证起草的词元
被接受的词元保留下来
从这里开始下一块

注意事项：模型卡测得的接受长度从 MT-Bench 的 3.49 到 HumanEval 的 4.53。一次一个请求时提速最高，在 8 个和 32 个请求时也保持在 1.4 倍以上。

Title: 一次一个请求时相对普通解码的提速，倍数
HumanEval: 2.32 倍
MBPP: 2.25 倍
GSM8K: 2.17 倍
MATH-500: 2.06 倍
MT-Bench: 1.77 倍

• License: Apache 2.0
• Cost to run: 未提及费用，但模型卡是在一块 NVIDIA GB300 GPU 上测量的
• Data it reaches: 你下载的模型文件，以及你发给自己服务器的请求
• Not for: 独立使用，因为它只为 Flint 目标模型起草词元

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：403M
• Weights: about 805 MB in BF16; about 201 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,651
• 点赞：9
• 许可证：apache-2.0
• 基于：RecursiveSI/flint
• Quantized versions: 1
• 标签：transformers, safetensors, qwen3, dflash2, speculative-decoding, block-diffusion, draft-model, sglang, text-generation

链接

• 模型：https://huggingface.co/incoai/Flint-DFlash2
• 文件：https://huggingface.co/incoai/Flint-DFlash2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download incoai/Flint-DFlash2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。