stable-diffusion-inpainting

stable-diffusion-inpainting

用带额外遮罩输入的 Stable Diffusion 根据文字生成写实图像，并填充图片中被遮罩的区域，可用于 diffusers 或 AUTOMATIC1111。适合设计师、编辑和开发者。

由 stable-diffusion-v1-5 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Stable Diffusion Inpainting 是一个潜空间文生图扩散模型，能根据文字提示词生成写实的图片。它也可以重绘现有图片的一部分，这一部分由你用遮罩标出。这个仓库是一个已被弃用的旧仓库的镜像，模型卡说它与 RunwayML 没有任何关联。模型卡把 Robin Rombach 和 Patrick Esser 列为开发者。

适合谁：它适合想用文字描述来修改图像某个区域的人，比如设计师、照片编辑和应用开发者。

行业 | 谁在用 | 怎么用 | 例子
设计 | 插画师和设计师 | 根据提示词重绘图像的某个区域 | 在场景里被遮罩的位置放进一个新的主体
照片编辑 | 修图师 | 替换或移除遮罩内的物体 | 把被遮罩的物品换成别的东西
软件 | 应用开发者 | 给图像应用加上区域编辑功能 | 在后端调用 diffusers 流水线
研究 | 扩散模型研究人员 | 研究带额外遮罩输入通道的修复 | 阅读模型卡里的训练说明

如果你从不需要编辑图像的一部分，可以跳过它。

用在哪里：

• 使用 diffusers 库的 Python
• AUTOMATIC1111，使用检查点文件
• 原始的 RunwayML GitHub 仓库，模型卡把它标为已弃用
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
区域重绘 | 设计师 | 只有被遮罩的区域被重新绘制的图像
物体替换 | 编辑 | 被遮罩的物体换成提示词所描述内容的图片
脚本化编辑 | 开发者 | 用几行 Python 保存下来的图像文件

如何设置：

• Python 和 Hugging Face 的 hub 包
• 用 pip 安装的 diffusers 库和 torch
• 一张输入图像和一张遮罩图像，都是 PIL 图像

1. 安装 Hugging Face 的 hub 包。
2. 下载模型文件。
3. 安装 diffusers 和 torch。
4. 准备好你的图像和遮罩，然后运行下一节的流水线。

pip install -U huggingface_hub
hf download stable-diffusion-v1-5/stable-diffusion-inpainting

如何使用：加载流水线，然后传入提示词、图像和遮罩。遮罩里，白色表示要重绘的区域，黑色表示保持原样的部分。模型卡的代码用到了 torch 却没有导入它，所以请自己加上这行导入。

from diffusers import StableDiffusionInpaintPipeline

pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "sd-legacy/stable-diffusion-inpainting",
    revision="fp16",
    torch_dtype=torch.float16,
)
prompt = "Face of a yellow cat, high resolution, sitting on a park bench"
#image and mask_image should be PIL images.
#The mask structure is white for inpainting and black for keeping as is
image = pipe(prompt=prompt, image=image, mask_image=mask_image).images[0]
image.save("./yellow_cat_on_park_bench.png")

工具 | 作用
StableDiffusionInpaintPipeline | 在 diffusers 里加载修复模型
pipe | 接收提示词、图像和遮罩，并返回图像
mask_image | 用白色标出要重绘的区域，用黑色标出要保留的区域
AUTOMATIC1111 | 一个可以运行同一个检查点的网页界面

示例：你把一张公园长椅的照片、一个盖在想让东西出现的位置上的遮罩，以及一条要求在那里放一只高分辨率的黄色小猫的提示词交给流水线。被遮罩的区域会被填上这只猫，图片的其余部分保持原样。

新手与专家：图像修复指的是只重绘你遮罩住的那部分图片，由文字来引导。第一次可以先复制上面的代码，加上一张小照片和一个遮罩，再写一条简短的提示词。

从底层看，模型从 Stable Diffusion v1.2 的权重起步。UNet 多了 5 个输入通道，4 个给编码后的被遮罩图像，1 个给遮罩本身，它们的权重从零开始。训练时会生成合成遮罩，其中 25% 的情况遮罩覆盖整幅图。有 10% 的样本去掉了文本条件，以改进无分类器引导。

输入提示词、图像和遮罩
带 5 个额外输入通道的 UNet
被遮罩的区域被重绘
输出编辑后的图像

注意事项：

Title: 训练步数，单位为千
Regular training: 595 k steps
Inpainting training: 440 k steps

• 修复训练的分辨率是 512x512。
• 模型卡把英语列为语言。
• License: CreativeML OpenRAIL-M，使用前请阅读它的条款
• Cost to run: 未提到
• Data it reaches: 除了你给它的图像和提示词外未提到其他内容，在本地运行
• Not for: 这里显示的模型卡部分没有提到

Hugging Face 上的数据（2026年11月13日）

• 任务：text to image
• 框架：diffusers
• 最近 30 天下载：248,486
• 点赞：122
• 许可证：creativeml-openrail-m
• Quantized versions: 1
• Fine-tunes: 6
• 标签：diffusers, stable-diffusion, stable-diffusion-diffusers, text-to-image

链接

• 模型：https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-inpainting
• 文件：https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-inpainting/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download stable-diffusion-v1-5/stable-diffusion-inpainting

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。