GenFirst

GenFirst

ByteDance-Seed 发布的研究权重，用于 VAE 与先验联合训练的图像生成器。涵盖类别条件和文生图采样，仅限非商业研究使用。

由 ByteDance-Seed 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：GenFirst 是 ByteDance-Seed 的一项研究发布，讲的是把潜变量 VAE 与生成先验一起训练，同时避免潜变量坍缩，因为坍缩往往会让联合训练变得不稳定。训练分两个阶段：第一阶段让先验塑造潜空间，第二阶段把两个权重都降到十分之一，让解码器恢复细节。这次发布包含类别条件和文生图两种生成的权重。

适合谁：如果你研究图像生成或潜扩散，想在非商业条款下研究或复现这个方法，它很适合你。

Industry | Who uses it | How they use it | Example
学术研究 | 图像生成研究者 | 研究 VAE 与先验的联合训练 | 复现 256x256 的类别条件结果
机器学习工程 | 探索潜扩散的团队 | 试用已发布的 SiT-XL 和 MMDiT-XL 先验 | 根据文本提示词采样 512x512 的图像
基准测试 | 评测人员 | 比较各个已发布检查点的得分 | 800 轮检查点在 256x256 下的 gFID 为 1.45

如果你需要商用模型，或者现成的 diffusers 流水线，可以跳过它。

用在哪里：

• PyTorch，配合模型卡说明必须用到的推理代码
• Windows、macOS 或 Linux，装有 Python，用来下载文件
• 针对 256x256 和 512x512 类别条件图像的研究环境
• 512x512 的文生图研究

Use case | Who | What they get back
类别条件生成 | 研究者 | 针对 0 到 999 之间一个整数标签的图像
文生图 | 研究者 | 由冻结的 CLIP-L 编码器读取提示词后生成的 512x512 图像
比较结果 | 评测人员 | 已发布的得分，比如变体 A 的 GenEval 0.8987

如何设置：你需要 Python、PyTorch 和项目的推理代码，因为这些都是原始检查点。

• 装有 huggingface_hub 包的 Python
• PyTorch，模型卡指明的框架
• 来自 GitHub 上 ByteDance-Seed 的 GenFirst 仓库的推理代码
• 足够存放 fp32 权重的存储空间

1. 用 Python 安装 Hugging Face 工具。
2. 用下面的第二条命令下载仓库文件。
3. 从 GitHub 上的 GenFirst 仓库获取推理代码。
4. 把每个生成先验与它训练时用的端到端 VAE 配对。

pip install -U huggingface_hub
hf download ByteDance-Seed/GenFirst

如何使用：通过项目的推理代码加载先验和它的 VAE，因为这些文件是原始的 .pt 检查点，不是 diffusers 流水线。对类别条件模型，传入一个整数标签。对文生图，给出一条提示词，由冻结的文本编码器读取。

Tool | What it does
End-to-end VAEs | 端到端阶段产出的编码器和解码器，各自附带潜变量归一化统计
SiT-XL priors | 根据一个整数标签做类别条件生成
MMDiT-XL priors | 用冻结的 CLIP-L 文本编码器做文生图

示例：你选 256x256 的 800 轮检查点，传入某个 ImageNet 类别的整数标签。先验为这个类别采样出一个潜变量，配对的 VAE 把它解码成图像。模型卡列出这个检查点在不使用引导时的 gFID 为 1.45。

新手与专家：把它想成研究代码和权重，而不是一个应用。这里没有可以输入文字的文本框。第一个小步骤是下载文件、读模型卡，然后挑选 256x256 的类别条件检查点。

VAE 和先验是同时训练的。第一阶段由先验塑造潜变量，第二阶段两个权重都降到十分之一，让解码器恢复细节。先验是 SiT-XL 和 MMDiT-XL，有 28 个块，宽度 1152，16 个注意力头，约 675M 参数，各自在冻结的 VAE 上训练。只发布了 EiT 扩散先验版本，没有发布自回归的 EAR 版本。512 的模型复用冻结的 256 f16d32 VAE，只训练先验。

阶段 1：先验塑造潜空间
阶段 2：两个权重都降到十分之一
解码器恢复细节
冻结 VAE，在它上面训练先验
用先验采样，用 VAE 解码

注意事项：类别条件先验在 256x256 的 ImageNet 上做过评分，有引导和无引导两种。

Title: 256x256 下的类别条件结果
Checkpoint | gFID | IS | gFID (guided) | IS (guided)
EiT, 80 epochs | 2.79 | 175.4 | 1.38 | 271.3
EiT, 480 epochs | 1.60 | 216.8 | 0.988 | 270.7
EiT, 800 epochs | 1.45 | 226.7 | 0.969 | 283.4

Title: 512x512 下的 GenEval 得分，不改写提示词
变体 A: 0.8987
变体 B: 0.8920

• Precision: 权重以 fp32 发布，采样在 bf16 下测试过
• Not diffusers: 检查点是原始的 .pt 文件，需要推理代码
• Not released: 论文里描述的自回归 EAR 版本
• Text encoder: CLIP-L，冻结，作者没有修改
• License: 权重使用 CC BY-NC 4.0，比代码上的 MIT 许可更严格
• Cost to run: 没有提到
• Data it reaches: 除了你下载的文件，没有提到其他
• Not for: 商用，因为权重只用于非商业研究

Hugging Face 上的数据（2026年11月13日）

• 任务：text to image
• 框架：pytorch
• Formats: Safetensors
• 最近 30 天下载：0
• 点赞：7
• 许可证：cc-by-nc-4.0
• 标签：pytorch, diffusers, safetensors, diffusion, latent-diffusion, end-to-end-training, variational-autoencoder, text-to-image, class-conditional-image-generation, mmdit

链接

• 模型：https://huggingface.co/ByteDance-Seed/GenFirst
• 文件：https://huggingface.co/ByteDance-Seed/GenFirst/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ByteDance-Seed/GenFirst

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。