Diffusion-Qwen3.8-27B

Diffusion-Qwen3.8-27B

把 Qwen3.8-27B 转成掩码扩散语言模型，用并行解掩码的方式生成文字。这是一个实验性的研究检查点，适合有大显卡的研究人员和机器学习工程师。

由 summerAIO 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Diffusion-Qwen3.8-27B 是被转换成掩码扩散语言模型的 Qwen3.8-27B，风格类似 LLaDA 和 Dream。它不是从左到右写字，而是分几轮并行地把很多位置的掩码揭开来填出文字。模型卡称它是一个实验性的研究检查点，没有做过基准测试。

适合谁：适合想研究如何把普通的因果模型变成扩散模型的研究人员和工程师。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语言模型研究人员 | 研究自回归模型的扩散转换 | 把并行解掩码和从左到右的解码做对比
软件 | 机器学习工程师 | 试验 dqwen 的加载和推理代码 | 调整不同的 thr 值，在速度和质量之间取舍
教育 | 学习语言建模的学生 | 看看因果模型是如何变成双向的 | 对照代码阅读它的原理说明

需要经过基准测试、可用于生产的模型的人可以跳过它，因为模型卡说它不能用于生产。

用在哪里：

• 装有 transformers、accelerate、safetensors 和 huggingface_hub 的 Python
• 在 bf16 下约 56 GB 显存的 NVIDIA 显卡，模型卡把它列为硬件需求
• Triton 快速路径，它要求 Ampere 或更新的显卡，比如 A100、L4、RTX 30xx 或 H100

用途 | 谁用 | 得到什么
扩散式文字生成 | 研究人员 | 通过迭代并行解掩码得到的文字
流式输出每一步 | 工程师 | 每一步的 token，未确定的用掩码 id 标出
速度与质量调节 | 试验者 | 由置信度阈值决定的取舍

如何设置：

你需要先准备：

• Python
• 在 bf16 下约 56 GB 显存的显卡
• 下面的这些包，其中 flash-linear-attention 可选，但强烈推荐

1. 用下面的 pip 命令安装这些包。
2. 像 Python 脚本那样用 snapshot_download 下载仓库。
3. 把下载的文件夹加入 Python 路径，并导入 dqwen 加载器。

pip install -U transformers accelerate huggingface_hub safetensors flash-linear-attention

如何使用：用 dqwen 加载器加载模型，然后调用 generate 得到完整回答，或者调用 stream 来观察每一步。thr 值是每一步确定一个 token 所需的置信度。值越低越快，越高质量越好。

import sys
from huggingface_hub import snapshot_download
path = snapshot_download("summerMC/Diffusion-Qwen3.8-27B")
sys.path.insert(0, path)
from dqwen.hub import load_pretrained, generate, stream

dlm, tok = load_pretrained(path)
print(generate(dlm, tok, "What is the capital of France?", gen_len=128, thr=0.9))

for ids, newly_committed, step in stream(dlm, tok, "Write a haiku about the sea."):
    pass                                     # undecided tokens are dlm.mask_id

脚本里的检查点写在 summerMC 账号下，所以请确认你加载的是哪个 id。Triton 快速路径默认开启，你可以像下面这样关掉它。

dlm, tok = load_pretrained(path, fast=False)

工具 | 作用
load_pretrained | 加载模型并应用扩散补丁
generate | 通过迭代解掩码生成完整回答
stream | 逐步输出，让你看到 token 被确定的过程

示例：你问它法国的首都是什么，生成长度设为 128，阈值设为 0.9。它通过并行解掩码来填出答案，而不是一次一个 token，调用最后会打印出完成的文字。

新手与专家：大多数聊天模型是一个 token 接一个 token 地写。这个模型从被掩码的位置开始，每几轮确定一部分它有把握的 token。第一步可以先用默认设置运行上面的 generate 调用。

这次转换去掉了完整注意力层里的因果掩码。Gated DeltaNet 层增加了正向和反向扫描，每个通道有一个从 0 开始的门。掩码是带有学出来的嵌入的 fim pad token。训练用的是带 1/t 权重的掩码 token 交叉熵，解码按置信度阈值解掩码。直接用 AutoModelForCausalLM 加载得到的是因果模型，所以必须使用 dqwen 补丁。

从被掩码的位置开始
模型一次预测所有位置
超过阈值的 token 被确定
其余的保持掩码，留到下一轮
第一个 EOS 之后的文字被丢弃

注意事项：

• 大小：Hugging Face 记录为 26.9B 个参数，BF16 格式约 53.8 GB，4-bit 约 13.4 GB（估算）
• 语言：列出了英文和日文
• 训练：一个 r=32 的 LoRA 并入权重，只跑了很短的一段，数据和序列长度没有记录
• 快速路径：训练、填充掩码、批大小大于 1、4-bit 和 Ampere 之前的显卡会退回普通 PyTorch，DQWEN_FAST=0 可以把它关掉

Title: Weight size in GB
BF16: 53.8 GB
4-bit estimate: 13.4 GB

• License: apache-2.0
• Cost to run: 没有提到，不需要 API 密钥或账号。模型卡列出在 bf16 下约 56 GB 显存
• Data it reaches: 它会从 Hugging Face 下载文件，把文件夹加入 Python 路径，并运行随它一起提供的 dqwen 代码
• Not for: 生产用途，因为模型卡称它是没有做过基准测试的实验性研究检查点

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：26.9B
• Weights: about 53.8 GB in BF16; about 13.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,015
• 点赞：33
• 许可证：apache-2.0
• 语言：en, ja
• 基于：Qwen/Qwen3.8-27B
• 标签：transformers, safetensors, qwen3_5_text, text-generation, diffusion-lm, masked-diffusion, llada, summermc-diffusion, experimental, qwen3.8, conversational

链接

• 模型：https://huggingface.co/summerAIO/Diffusion-Qwen3.8-27B
• 文件：https://huggingface.co/summerAIO/Diffusion-Qwen3.8-27B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download summerAIO/Diffusion-Qwen3.8-27B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。