Bielik-11B-v3.1-DFlash

Bielik-11B-v3.1-DFlash

作为 DFlash 草稿模型，与 Bielik-11B-v3.1-Instruct 配对，在 SGLang 或 vLLM 里做推测解码。它不是独立的语言模型。适合自己部署 Bielik 的人。

由 speakleash 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Bielik-11B-v3.1-DFlash 是 SpeakLeash 和 ACK Cyfronet AGH 打造的小型草稿模型，参数量 1.2B。它只能在目标模型 Bielik-11B-v3.1-Instruct 旁边工作，由推理服务器运行推测解码。它用与目标模型相同的数据训练，不是独立的语言模型。

适合谁：它适合已经在部署 Bielik-11B-v3.1-Instruct、想给这台服务器加上 DFlash 推测解码的人。

Industry | Who uses it | How they use it | Example
AI 基础设施 | 托管 Bielik-11B-v3.1-Instruct 的团队 | 把草稿模型加进 SGLang 或 vLLM 的启动命令 | 团队把推测相关参数加进现有的服务器命令
波兰语软件 | 为波兰语用户开发应用的开发者 | 部署目标模型并挂上草稿模型 | 开发者在上线聊天功能前测试这套配对
研究 | 研究推测解码的人 | 用一个面向波兰语的模型试验 DFlash 草稿 | 研究者对比有草稿模型和没有草稿模型的运行

想直接和模型聊天的人可以跳过它，因为草稿模型自己不能回答问题。

用在哪里：它在支持 DFlash 的推理服务器里运行，文件可在装有 Python 的 Windows、macOS 或 Linux 上下载。

• SGLang，版本高于 0.5.6：用 DFLASH 算法启动服务器
• vLLM，版本高于 0.20.0：用推测配置部署目标模型
• Windows、macOS 或 Linux：用 Hugging Face 工具下载文件

Use case | Who | What they get back
带草稿地托管 Bielik | 平台团队 | 一台运行目标模型并挂着草稿模型的服务器
波兰语和欧洲语言应用 | 开发者 | 通过这套配对部署得到的 Bielik-11B-v3.1-Instruct 回复
测试推测解码 | 研究者 | 一套可用来测量的 DFlash 配置

如何设置：先准备好下面几样东西。

• 用于下载的 Python 和 huggingface_hub 包
• 高于 0.5.6 版本的 SGLang，或高于 0.20.0 版本的 vLLM
• 一份正在运行的 Bielik-11B-v3.1-Instruct，也就是这个草稿模型配对的模型
• 大约 2.3 GB 磁盘空间存放 BF16 的草稿模型

1. 安装 Hugging Face hub 包。
2. 如果想要本地副本，就下载草稿模型文件。
3. 安装模型卡列出的版本的 SGLang 或 vLLM。
4. 按 How to use it 里的方式，用目标模型和草稿模型启动服务器。

pip install -U huggingface_hub
hf download speakleash/Bielik-11B-v3.1-DFlash

如何使用：把它放在 SGLang 或 vLLM 这类服务器后面运行，哪个内置了 DFlash 草稿功能就用哪个。模型卡为每个都给出了一条命令。

export SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1

python -m sglang.launch_server \
    --model-path speakleash/Bielik-11B-v3.1-Instruct \
    --speculative-algorithm DFLASH \
    --speculative-draft-model-path speakleash/Bielik-11B-v3.1-DFlash \
    --speculative-num-draft-tokens 16

vllm serve speakleash/Bielik-11B-v3.1-Instruct \
  --speculative-config '{"method": "dflash", "model": "speakleash/Bielik-11B-v3.1-DFlash", "num_speculative_tokens": 15}' \
  --attention-backend flash_attn \
  --max-num-batched-tokens 32768

Tool | What it does
SGLang launch_server | 用 DFLASH 算法和草稿模型路径运行目标模型
vllm serve | 用一个写明 dflash 和草稿模型的推测配置来部署目标模型
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN | 模型卡在启动 SGLang 前把它设为 1 的环境变量
--speculative-num-draft-tokens | 草稿 token 的数量，SGLang 命令里是 16，而 vLLM 配置里是 15

示例：你用上面的命令启动 vLLM 服务器，然后给目标模型发一个聊天请求，比如“Summarize this paragraph in Polish.”。回复由 Bielik-11B-v3.1-Instruct 写出。草稿模型通过推测配置待在它后面。

新手与专家：这个文件自己什么也做不了。它是另一个模型 Bielik-11B-v3.1-Instruct 的辅助，只有在那个模型已经在服务器上运行时才有意义。你的第一小步是把模型卡里的 SGLang 或 vLLM 命令填好两个模型名，然后启动。

草稿模型用目标模型的数据集训练，训练基于 ALLaMo 框架上的自定义实现。模型卡的命令在 SGLang 里用 16 个草稿 token，在 vLLM 里用 15 个。代价是兼容性，因为你需要支持 DFlash 的服务器版本，以及一个与之配对的目标模型。

用 Bielik-11B-v3.1-Instruct 启动服务器
通过参数挂上 DFlash 草稿模型
草稿模型提出候选 token
目标模型给出最终回复

注意事项：

• 模型卡列出 32 种欧洲语言，针对波兰语优化，而 Hugging Face 的记录显示波兰语和英语。
• SGLang 必须高于 0.5.6，vLLM 必须高于 0.20.0。
• 模型卡说它的开发和训练得到了计算资助，并在 Helios 超级计算机上完成。
• License: Apache 2.0，模型卡和 Hugging Face 的记录都这样列。
• Cost to run: 来源未提及，没有提到 API 密钥、账号或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，并在你自己的推理服务器里运行。
• Not for: 当作独立语言模型使用。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.2B
• Weights: about 2.3 GB in BF16; about 587 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：36
• 点赞：3
• 许可证：apache-2.0
• 语言：pl, en
• Quantized versions: 2
• 标签：transformers, safetensors, qwen3, dflash, speculative-decoding, block-diffusion, draft-model, efficiency, bielik, diffusion-language-model, text-generation, multilingual

链接

• 模型：https://huggingface.co/speakleash/Bielik-11B-v3.1-DFlash
• 文件：https://huggingface.co/speakleash/Bielik-11B-v3.1-DFlash/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download speakleash/Bielik-11B-v3.1-DFlash

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。