Bielik-11B-v3.1-DFlash2

Bielik-11B-v3.1-DFlash2

作为草稿模型与 Bielik-11B-v3.1-Instruct 配对，在 SGLang 或 vLLM 中做推测解码。它不是独立的语言模型。

由 speakleash 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Bielik-11B-v3.1-DFlash2 是一个用于推测解码的小型草稿模型。它要和更大的目标模型 Bielik-11B-v3.1-Instruct 一起，在支持 DFlash 的推理服务器里运行。它单独使用时不能当语言模型。

适合谁：它适合已经在提供 Bielik-11B-v3.1-Instruct 模型服务、主要面向波兰语、并想用匹配的草稿模型试试推测解码的团队。

Industry | Who uses it | How they use it | Example
语言技术 | 波兰语 NLP 团队 | 在自己的服务器上把草稿模型和 Instruct 模型配对 | 通过 vLLM 提供波兰语聊天模型
推理工程 | 平台工程师 | 在 SGLang 或 vLLM 中试用 DFlash 推测解码 | 比较两种服务器的启动配置
研究 | 应用机器学习小组 | 研究用目标模型自己的数据训练的草稿模型 | 阅读草稿如何在同一数据集上训练

如果你不运行 Instruct 模型，可以跳过它，因为草稿模型自己什么也做不了。

用在哪里：

• SGLang，0.5.19 或更新的版本
• vLLM，0.28.0 或更新的版本
• 装有 Python 的 Windows、macOS 或 Linux，用于下载文件

Use case | Who | What they get back
波兰语聊天服务 | 平台团队 | 为 Instruct 模型准备的推测解码配置
服务器对比 | 推理工程师 | 同一个草稿模型在 SGLang 和 vLLM 中都试一遍
草稿模型研究 | 研究人员 | 用与目标模型相同的数据训练的草稿模型

如何设置：

• Python，用来运行 Hugging Face 下载工具
• huggingface_hub 包
• SGLang 0.5.19 或更新版本，或 vLLM 0.28.0 或更新版本
• 与草稿配对的较大 Instruct 模型

1. 安装 Hugging Face 的 hub 包。
2. 把草稿模型文件下载到你的电脑。
3. 启动 SGLang 或 vLLM，让 Instruct 模型做主模型，这个模型做草稿。

pip install -U huggingface_hub
hf download speakleash/Bielik-11B-v3.1-DFlash2

模型卡里的 SGLang 启动命令如下。

export SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1

python -m sglang.launch_server \
    --model-path speakleash/Bielik-11B-v3.1-Instruct \
    --speculative-algorithm DFLASH \
    --speculative-draft-model-path speakleash/Bielik-11B-v3.1-DFlash2 \
    --speculative-num-draft-tokens 16

模型卡里的 vLLM 启动命令如下。

vllm serve speakleash/Bielik-11B-v3.1-Instruct \
  --speculative-config '{"method": "dflash", "model": "speakleash/Bielik-11B-v3.1-DFlash2", "num_speculative_tokens": 15}' \
  --attention-backend flash_attn \
  --max-num-batched-tokens 32768

如何使用：你启动服务器时，让 Instruct 模型做主模型，并把这个模型指定为草稿。之后你使用服务器的方式和原来使用 Instruct 模型一样。

Tool | What it does
python -m sglang.launch_server | 用目标模型和草稿启动 SGLang
--speculative-num-draft-tokens | 设置草稿每次提出多少个 token，模型卡示例里是 16
vllm serve | 用目标模型启动 vLLM
--speculative-config | 指定 dflash 方法、草稿模型和 15 个草稿 token

示例：你用 Instruct 模型启动 vLLM，并在推测配置里放入这个草稿，然后像以前一样用波兰语和模型聊天。回复来自 Instruct 模型，草稿只负责提出供它检查的 token。

新手与专家：草稿模型是一个小帮手，它猜接下来的几个词，让较大的模型一起检查。这个模型从不单独写回答。上手时，先下载它，再启动上面的 vLLM 示例。

如果你熟悉这个领域：这是一个 1.2B 参数的 DFlash2 草稿模型，用目标模型自己的数据集训练，训练用的是基于 ALLaMo 搭建的定制方案。代价是它把你绑定在一个目标模型和一个支持 DFlash 的服务器上。

你向服务器发送请求
草稿模型提出若干个 token
Instruct 模型一起检查它们
被接受的 token 组成回复

注意事项：

Title: 模型卡两种配置里的草稿 token 数
SGLang 配置: 16 个草稿 token
vLLM 配置: 15 个草稿 token

• 不能独立使用：模型卡说它必须与目标模型配对
• 语言：32 种欧洲语言，针对波兰语优化
• 大小：BF16 约 2.5 GB，4-bit 估计约 617 MB
• License: Apache 2.0
• Cost to run: 没有提到费用，但你还需要 Instruct 模型和受支持的服务器
• Data it reaches: 你发送给自己服务器的提示词，以及你从 Hugging Face 下载的文件
• Not for: 独立的文本生成，因为它只是草稿模型

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.2B
• Weights: about 2.5 GB in BF16; about 617 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：44
• 点赞：3
• 许可证：apache-2.0
• 语言：pl, en
• Quantized versions: 2
• 标签：transformers, safetensors, qwen3, dflash, speculative-decoding, block-diffusion, draft-model, efficiency, bielik, diffusion-language-model, text-generation, multilingual

链接

• 模型：https://huggingface.co/speakleash/Bielik-11B-v3.1-DFlash2
• 文件：https://huggingface.co/speakleash/Bielik-11B-v3.1-DFlash2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download speakleash/Bielik-11B-v3.1-DFlash2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。