Primal VAE

Primal VAE

提供小型图像自编码器，把图片压成一两个潜变量通道，不需要缩放系数，再通过分块拼成 Flux 或 Stable Diffusion 的潜变量形状。适合搭建扩散模型的人。

由 ostris 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Primal VAE 是用于扩散模型工作的小型图像自编码器。它在每个方向上只把图像缩小 2 倍或 4 倍，只保留一两个通道，而不是用深度压缩。然后你把潜变量分块拼到扩散 Transformer 所需的形状。

潜变量经过训练，分布范围与噪声相同。这意味着你可以省掉缩放系数、偏移系数和任何潜变量归一化。流程就是编码、分块、扩散。

适合谁：它适合训练或改造扩散模型的研究者和开发者，他们想要一个轻量的 VAE，能对上 Flux 和 Stable Diffusion 模型的潜变量形状。

行业 | 谁在用 | 怎么用 | 例子
AI 研究 | 扩散模型研究者 | 试用不需要缩放系数的 VAE | 在它的单位正态潜变量上训练模型
软件 | 机器学习工程师 | 在流水线里替换 VAE | 替换 Flux.1 VAE 的潜变量
图像工具 | 工具开发者 | 用小网络编码和解码图像 | 让一张图来回走一遍
训练 | 微调者 | 对解码做反向传播以用像素损失 | 使用梯度检查点

如果你只想用成品应用生成图片，可以跳过它，因为这是做模型工作用的构件。

用在哪里：它通过 Python 里的 diffusers 库加载，在有 GPU 的机器上使用，模型卡的示例用的是 CUDA。

• 使用 diffusers 的 Python 脚本
• 扩散 Transformer 的训练和研究代码
• 使用 Flux.1、Flux.2 或 Stable Diffusion 潜变量形状的流水线

用途 | 谁 | 得到什么
对上 Flux.1 潜变量 | 流水线构建者 | 8 倍下的 16 通道潜变量
对上 Flux.2 潜变量 | 流水线构建者 | 8 倍下的 32 通道潜变量
对上 SD 1.5 或 SDXL 潜变量 | 流水线构建者 | 8 倍下的 4 通道潜变量

如何设置：你需要带 pip 的 Python、diffusers 库、PyTorch 和一块 GPU。模型卡加载模型时打开了 trust_remote_code，所以运行前请先读仓库里的代码。

• 带 pip 的 Python
• diffusers 和 PyTorch
• 一块 CUDA GPU，如模型卡的示例

1. 安装 Hugging Face hub 包。
2. 下载仓库，或让 diffusers 按 id 获取。
3. 用 AutoModel 加载一个变体并放到 GPU 上。

pip install -U huggingface_hub
hf download ostris/primal_vae

如何使用：你选一个变体，编码一批图像，再把潜变量解码回去。2x 模型的图像边长必须是 16 的倍数，4x1 模型是 32 的倍数。

import torch
from diffusers import AutoModel

vae = AutoModel.from_pretrained("ostris/primal_vae", variant="2x1", trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda")

x = ...                      # [B, 3, H, W] in [-1, 1], H and W multiples of vae.image_multiple (16, or 32 for 4x1)
z = vae.encode(x)            # [B, 1, H/2, W/2], ~N(0, 1). No .latent_dist, no sampling.
x_hat = vae.decode(z)        # [B, 3, H, W]

变体 | 输出 | 能对上的形状
2x1 | 2 倍下的一个通道 | Flux.1 VAE 的潜变量
2x2 | 2 倍下的两个通道 | Flux.2 VAE 的潜变量
4x1 | 4 倍下的一个通道 | SD 1.5 和 SDXL VAE 的潜变量

示例：你加载 2x1 变体，编码一批图像，再以压缩 8 调用 patchify。你得到的令牌形状与 Flux.1 的潜变量一致，可以直接放进 Flux 流水线，而 decode 会把图片还原回来。

新手与专家：如果你是新手，加载 2x1 变体，编码一张图再解码，看一遍来回的过程。这样你在改动流水线之前就能明白这个模型做什么。

如果你懂这个领域，编码器和解码器是镜像的卷积 U-Net，使用 RMSNorm，没有注意力。只要有一点重叠，分块得到的结果与整图相同。它没有后验、KL 项或量化卷积。

图像做像素反混洗
编码器输出单位正态潜变量
潜变量分块拼到 8 倍
扩散模型处理令牌

注意事项：2x 模型约有 80M 参数，4x1 模型约有 122M。变体名称决定权重文件，微调过的检查点可以按文件名加载。

• License: apache-2.0
• Cost to run: 未提及费用，但模型卡的示例需要 GPU
• Data it reaches: 你下载的文件，以及你传入的图像
• Not for: 不加留意地加载，因为模型卡把 trust_remote_code 设为 true

Hugging Face 上的数据（2026年11月13日）

• 框架：diffusers
• 最近 30 天下载：1,268
• 点赞：49
• 许可证：apache-2.0
• Quantized versions: 1
• 标签：diffusers, autoencoder, latent-diffusion

链接

• 模型：https://huggingface.co/ostris/primal_vae
• 文件：https://huggingface.co/ostris/primal_vae/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ostris/primal_vae

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。