Ling-3.1-flash-DSpark

Ling-3.1-flash-DSpark

一个小型草稿模型，通过 SGLang 里的推测解码加速 Ling-3.1-Flash，每次草拟 5 个或 7 个 token。适合在 NVIDIA GPU 上部署 Ling-3.1-Flash 的团队。

由 AQ-MedAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Ling-3.1-flash-DSpark 是一个 1.1B 参数的草稿模型，由作者按 DSpark 方式训练，能让 Ling-3.1-Flash 生成得更快。它通过推测解码工作：小模型提前提出几个 token，大模型再来检查。模型卡测试了 5 个和 7 个 token 的草稿，并感谢 SpecForge 框架。

适合谁：如果你的团队已经在 NVIDIA GPU 上用 SGLang 部署 Ling-3.1-Flash，并且想要更快的生成速度，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
AI 基础设施 | 部署 Ling-3.1-Flash 的团队 | 把草稿模型加入 SGLang 启动命令 | 用 DSPARK 算法和 5 的块大小启动服务器
聊天和 API 服务 | 关注吞吐量的服务商 | 为繁忙的服务器开启推测解码 | 同时处理多个请求并测量每秒 token 数
推理研究 | 研究推测解码的人 | 把 5 个和 7 个 token 的草稿与 AR 和 MTP 基线对比 | 在 GSM8K 或 HumanEval 上复现模型卡的运行

如果你不部署 Ling-3.1-Flash，可以跳过它，因为这个草稿模型是为那个目标模型打造的。

用在哪里：

• NVIDIA GPU 机器上的 SGLang 服务器
• CUDA 12.0 或更新、PyTorch 2.0 或更新的环境
• 装有 Python 的 Windows、macOS 和 Linux，仅用于下载文件

用例 | 谁 | 得到什么
更快的生成 | 服务运营者 | 同一个目标模型更高的吞吐量
草稿测试 | 研究人员 | 平均接受长度和每秒 token 数
块大小调优 | 工程师 | 在 5 个和 7 个草稿 token 之间做选择

如何设置：
你需要先准备：

• NVIDIA GPU、CUDA 12.0 或更新版本，以及 PyTorch 2.0 或更新版本
• Ling-3.1-Flash 目标模型，放在本地路径下
• 模型卡指定版本的 SGLang

1. 用 pip 安装指定版本的 SGLang。
2. 把 Ling-3.1-Flash 模型放在启动命令能访问到的位置。
3. 用下面的 DSPARK 选项启动 SGLang 服务器。
4. 要换成 7 个草稿 token，就修改块大小参数。

pip install sglang==0.5.22

python3 -m sglang.launch_server \
    --model-path /models/Ling-3.1-flash \
    --host 0.0.0.0 \
    --port 30010 \
    --mem-fraction-static 0.82 \
    --trust-remote-code \
    --tp 8 \
    --ep 8 \
    --speculative-algorithm DSPARK \
    --speculative-draft-model-path AQ-MedAI/Ling-3.1-flash-DSpark \
    --speculative-dspark-block-size 5

--speculative-dspark-block-size 7

如何使用：服务器运行起来后，你像对任何 SGLang 服务器一样发送请求。草稿模型在幕后工作。想试更长的草稿，就把块大小改成 7 并重启。

工具 | 作用
--speculative-algorithm DSPARK | 开启 DSpark 推测解码
--speculative-draft-model-path | 指向这个草稿模型
--speculative-dspark-block-size | 设置草稿模型提出多少个 token，5 或 7
--tp 8 和 --ep 8 | 用张量并行和专家并行把目标模型分布到 8 个设备上
--model-path | 指向 Ling-3.1-flash 目标模型

示例：你用 5 的块大小启动服务器，并同时发送几个聊天请求。模型卡就是这样测量平均接受长度和每秒 token 数的，并发数为 1、8、16 和 32。

新手与专家：推测解码让小模型先往前猜，大模型就能一次检查多个 token。可以先用上面的启动命令，块大小设为 5，再试 7。

对熟悉这个领域的读者来说，模型卡在温度 0 下做贪心解码，草稿为 5 个或 7 个 token。它在数学、代码、对话和知识类测试上记录平均接受长度（写作 tau）和吞吐量，共六个基准。它说在测试过的每一种基准和并发组合里，两种设置都胜过 AR 和 MTP 基线。

用目标模型启动 SGLang
加载这个草稿模型
草稿模型提出 5 个或 7 个 token
目标模型检查这些提议
被接受的 token 更快地返回

注意事项：

• 结果：模型卡的结果图是图片，所以这里的文字里没有确切数字。
• 范围：这些说法涵盖模型卡列出的六个基准和四种并发级别。
• 硬件：示例命令把目标模型分布到 8 个设备上。
• 数字：Hugging Face 列出 1.1B 参数，BF16 下约 2.3 GB。
• License: MIT。
• Cost to run: 未提及。你需要 NVIDIA GPU 和 Ling-3.1-Flash 模型。
• Data it reaches: 发送到你自己服务器的请求。这里的文字没有提到外部访问。
• Not for: Ling-3.1-Flash 以外的目标模型。

Hugging Face 上的数据（2026年11月13日）

• 参数量：1.1B
• Weights: about 2.3 GB in BF16; about 565 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：70
• 点赞：3
• 许可证：mit
• 标签：safetensors, qwen3

链接

• 模型：https://huggingface.co/AQ-MedAI/Ling-3.1-flash-DSpark
• 文件：https://huggingface.co/AQ-MedAI/Ling-3.1-flash-DSpark/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download AQ-MedAI/Ling-3.1-flash-DSpark

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。