Kimi-K3.1-Dflash2-Preview

Kimi-K3.1-Dflash2-Preview

通过起草一块 token 让主模型一次验证，来加快 Kimi-K3.1-Pro 的推理服务。这是给 SGLang 用户的草稿模型，与目标模型配合使用，不是独立的语言模型。

由 RadixArk 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放与 Kimi-K3.1-Pro 配套的 DFlash2 草稿模型。配合 SGLang，它通过推测解码让大模型生成得更快。草稿模型一次提出一块 token，主模型在一次前向计算里验证这一块。这个仓库只包含 BF16 的草稿权重和配置。

适合谁：已经用 SGLang 部署 Kimi-K3.1-Pro、想让生成更快的团队。

Industry | Who uses it | How they use it | Example
AI 平台 | 推理工程师 | 加一个草稿模型来加快服务 | 提高 Kimi 部署每秒生成的 token 数
研究 | 系统研究人员 | 研究按块进行的推测解码 | 比较宽度 5 和 8 下的接受长度
软件 | 后端开发者 | 调优自托管的模型服务器 | 用数学和科学类提示词测试这个草稿

如果你自己不运行 Kimi-K3.1-Pro，可以跳过它，因为草稿模型单独没有用处。

用在哪里：

• SGLang，模型卡针对的服务框架
• 多 GPU 服务器，因为模型卡的示例用了 8 块 GPU

Use case | Who | What they get back
更快的服务 | 推理工程师 | 每个验证步骤接受更多 token
基准测试 | 研究人员 | 接受长度的测量结果
自托管 Kimi | 平台团队 | 目标模型的即插即用草稿

如何设置：

• 带 pip 的 Python，用来获取文件
• 目标模型 Kimi-K3.1-Pro，它提供词嵌入、输出头、分词器和聊天模板
• SGLang 和多 GPU 机器，因为模型卡的测量是在一个 8 GPU 节点上完成的

1. 安装 Hugging Face hub 工具。
2. 下载草稿文件。
3. 按模型卡的示例，用目标模型和这个草稿启动 SGLang。

pip install -U huggingface_hub
hf download RadixArk/Kimi-K3.1-Dflash2-Preview

如何使用：你不需要自己调用这个模型。你为 Kimi-K3.1-Pro 启动一个带草稿模型的 SGLang 服务器，然后像平常一样向它发请求。这里看到的模型卡部分在完整启动命令之前就截断了，所以请从模型卡里复制它。

示例：你向 Kimi-K3.1-Pro 的 SGLang 服务器发一道数学题。草稿模型一次提出几个 token，目标模型接受它认同的那些，所以答案用更少的步骤就能出来。

新手与专家：如果你是新手，可以把草稿模型想成一个快速猜接下来几个词的助手，大模型再来核对。只有在你自己的服务器上运行大模型时它才有意义。

如果你是专家，草稿模型有五个 MLA 层，输入来自目标模型六个层的隐藏状态。它的注意力是 1,024 个 token 的块因果滑动窗口。然后一个低秩选择器从前 32 个候选里挑选每个提出的 token。

草稿模型读取目标模型的隐藏状态
它并行提出一块 token
目标模型一次验证这一块
被接受的 token 加一个目标 token 一起提交

注意事项：模型卡测量的是接受长度，也就是每个验证步骤提交的 token 数。它不测量回答的准确率。

Title: 模型卡中的接受长度
Dataset | Width 5 | Width 8
GSM8K | 4.259405 | 5.780277
AIME26 | 3.231564 | 3.696036
GPQA Diamond | 3.275916 | 3.768280

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。你需要目标模型和多 GPU 服务器。
• Data it reaches: 下载会访问 Hugging Face。草稿模型的词嵌入和分词器取自目标模型。
• Not for: 独立使用。模型卡说它自己不是语言模型，也没有证明在完整 1M 上下文里的质量。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：2.8B
• Weights: about 5.6 GB in BF16; about 1.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,682
• 点赞：6
• 许可证：apache-2.0
• 基于：moonshotai/Kimi-K3.1-Pro
• 标签：safetensors, qwen3, speculative-decoding, dflash2, sglang, kimi, text-generation

链接

• 模型：https://huggingface.co/RadixArk/Kimi-K3.1-Dflash2-Preview
• 文件：https://huggingface.co/RadixArk/Kimi-K3.1-Dflash2-Preview/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RadixArk/Kimi-K3.1-Dflash2-Preview

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。