DiT-Wikiart-Small

DiT-Wikiart-Small

为小型扩散 transformer 预测噪声，它在 Wikiart 画作上从零训练，用来根据流派和风格生成艺术图片。适合研究小型图像模型的开发者和学生。

由 kaupane 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DiT-Wikiart-Small 是一个扩散 transformer 的小型版本，在 Wikiart 画作集上从零训练。它用来根据你选的艺术流派和艺术风格生成艺术图片。图片尺寸是 256x256。

适合谁：它适合想研究小型扩散 transformer 的开发者和学生，以及想要一个简单的流派和风格模型的研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 研究一个从零构建的小型扩散 transformer | 加载它并打印它预测的噪声
教育 | 学生 | 了解这个模型与经典设计有什么不同 | 把它的改动与原论文对照
艺术 | 艺术家和爱好者 | 在低分辨率下探索绘画流派和风格 | 试试 Wikiart 收藏里的风格
研究 | 机器学习研究者 | 在有限预算下测试训练 | 对比 S、B 和 L 三个版本

如果你需要照片、人脸或建筑，可以跳过它，因为卡片说它处理人脸和建筑的能力较弱，也无法生成 Wikiart 之外的图片。

用在哪里：

• 装有 torch 和 huggingface_hub 库的 Python
• 能放下约 88 MB 权重的机器
• Windows、macOS 或 Linux，用 Python 下载文件

使用场景 | 适合谁 | 能得到什么
模型研究 | 开发者 | 一个可以加载并查看的小型 DiT
训练研究 | 学生 | 带有配方、轮数和损失数字的模型
艺术实验 | 爱好者 | 一个 256x256 流派和风格图片的起点

如何设置：你需要装有 pip 的 Python、torch 和 huggingface_hub 库。模型定义文件 modeling_dit_wikiart.py 来自仓库的文件列表。

• Python 和 pip
• torch 和 huggingface_hub 库
• 这个仓库里的定义文件 modeling_dit_wikiart.py
• F32 约需 88 MB 磁盘，4 位约 11 MB，这是估算值
• 卡片搭配的 VAE，stabilityai/sd-vae-ft-ema，用来把潜变量变成图片

1. 用 pip 安装 Hugging Face 客户端。
2. 用 hf 命令下载这个仓库，里面包含定义文件。
3. 在放着那个文件的文件夹里运行示例。

pip install -U huggingface_hub
hf download kaupane/DiT-Wikiart-Small

如何使用：从定义文件导入模型类，按名字加载权重，再传入带噪声的潜变量。卡片的示例只跑一遍，并打印预测的噪声。它没有给出完整的出图循环，而且需要先导入 torch。

from modeling_dit_wikiart import DiTWikiartModel

model = DiTWikiartModel.from_pretrained("kaupane/DiT-Wikiart-Small")
num_samples = 8
noisy_latents = torch.randn(num_samples,4,32,32)
predicted_noise = model(noisy_latents)
print(predicted_noise)

名称 | 作用
DiTWikiartModel | 从定义文件和 Hub 加载模型
num_samples | 设置生成多少个带噪声的潜变量，示例里是 8
torch.randn | 生成形状为 4 乘 32 乘 32 的随机噪声
predicted_noise | 保存模型对每个潜变量的预测

示例：你运行示例。它生成 8 个随机的带噪声潜变量，把它们送进模型，并打印每一个的预测噪声。它还不会给你一幅完成的画。

新手与专家：可以把它看作一个在流派和风格引导下学着去除噪声的小画家。第一件可以试的小事，是上面的示例。

它的设计沿用原论文里的经典 DiT，只做了少量改动。流派和风格嵌入取代了 ImageNet 的类别嵌入。它用后归一化和可学习的位置嵌入，去掉了最后的线性层，只预测噪声，并把 patch_size 设为 2。

版本 | 块数 | 隐藏维度 | 头数 | 参数量
S，小 | 8 | 384 | 6 | 20M
B，基础 | 12 | 640 | 10 | 90M
L，大 | 16 | 896 | 14 | 234M

随机的带噪声潜变量
DiT 在流派和风格引导下预测噪声
反复去噪得到干净的潜变量
配套的 VAE 把它解码成图片

注意事项：

• Size: Hugging Face 列出的参数量是 22M，而卡片说这个小版本是 20M。
• Training: 所有版本都在 103K 张 Wikiart 图片上训练，用水平翻转增强，使用默认设置的 AdamW，学习率峰值为 3e-4，随后按余弦衰减。

Title: 参数量，单位百万
S 小: 20 M
B 基础: 90 M
L 大: 234 M

版本 | 轮数 | 批大小 | 最终损失
S | 96 | 176 | 0.1590
B | 120 | 192 | 0.1525
L | 144 | 192 | 0.1510

• Loss: 在每个版本里，损失在第一轮都急剧下降，起点高于 1.0000，结束时接近 0.2000，然后缓慢地降下去。
• Strengths: 卡片说这些模型对流派和风格有基本的理解，画出的画乍看起来不错。
• Limits: 它对人脸和建筑这类复杂形状处理不好，对极简主义这类少见的风格会重复自己。
• Scope: 它只在 Wikiart 上训练，所以无法生成这个范围之外的图片。
• License: MIT，许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。
• Data it reaches: 除了下载用的 Hugging Face，没有别的。
• Not for: 照片、人脸或建筑，卡片把它们列为弱点。

Hugging Face 上的数据（2026年11月13日）

• 任务：text to image
• 参数量：22M
• Weights: about 88 MB in F32; about 11 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：75
• 点赞：2
• 许可证：mit
• 标签：safetensors, model_hub_mixin, pytorch_model_hub_mixin, text-to-image

链接

• 模型：https://huggingface.co/kaupane/DiT-Wikiart-Small
• 文件：https://huggingface.co/kaupane/DiT-Wikiart-Small/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kaupane/DiT-Wikiart-Small

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。