ControlNet v1.1 depth (SD 1.5)

ControlNet v1.1 depth (SD 1.5)

用深度图引导 Stable Diffusion 1.5，让生成的图像保持原图的布局。这是 diffusers 格式的 ControlNet v1.1，适合想控制构图的艺术家和开发者。

由 lllyasviel 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 ControlNet v1.1 的深度版本，已转换成 diffusers 格式。ControlNet 给扩散模型加上一个额外条件，这里的条件是一张深度图。你把它和 Stable Diffusion v1-5 搭配使用，你的提示词就会在你提供的深度布局里画出新的内容。

适合谁：想控制生成图像构图，而不只是主体的艺术家、设计师和开发者。作者推荐使用 Stable Diffusion v1-5，并指出其他扩散模型，比如经过 dreambooth 微调的模型，也许能试验性地使用。

Industry | Who uses it | How they use it | Example
设计 | 设计师 | 在改变风格的同时保留场景的深度布局 | 把一张房间照片重新渲染成另一种室内风格
游戏美术 | 概念美术师 | 把粗略的深度视图变成多样的图像 | 同一个深度布局生成多种氛围
软件 | 开发图像工具的开发者 | 给 diffusers 流水线加入深度控制 | 应用里的深度引导生成功能
研究 | 扩散模型研究人员 | 研究扩散模型的条件控制 | 比较有条件和无条件的输出

如果你不使用 Stable Diffusion 1.5 或 diffusers，可以跳过它，因为这个检查点是在那个基础上训练的。

用在哪里：

• 使用 diffusers 库的 Python 项目
• Stable Diffusion v1-5 流水线
• 安装了 Python 的 Windows、macOS 或 Linux

Use case | Who | What they get back
深度引导的图像生成 | 艺术家 | 遵循深度图的新图像
保留布局的风格重塑 | 设计师 | 外观改变但空间布局不变
条件控制实验 | 研究人员 | 可在不同条件之间比较的输出

如何设置：

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包，然后是 diffusers、transformers 和 accelerate
• 为 F32 权重预留约 1.4 GB 空间，另外还要放 Stable Diffusion v1-5

1. 安装 Hugging Face 客户端。
2. 把模型文件下载到你的电脑。
3. 安装 diffusers 及相关的包。
4. 在 ControlNet 流水线里，把检查点和 Stable Diffusion v1-5 一起加载。

pip install -U huggingface_hub
hf download lllyasviel/control_v11f1p_sd15_depth

pip install diffusers transformers accelerate

如何使用：用深度估计流水线从你的输入图片生成一张深度图，把它变成三通道的控制图，然后加载 ControlNet，并与 Stable Diffusion v1-5 搭配。加上你的提示词，运行流水线。模型卡的完整代码用的是半精度设置。

Tool | What it does
depth-estimation pipeline | 从你的输入图像生成深度图
ControlNetModel | 加载这个深度检查点
StableDiffusionControlNetPipeline | 把 ControlNet 和 Stable Diffusion v1-5 组合起来
UniPCMultistepScheduler | 模型卡示例为采样而导入的调度器

示例：你提供一张阶梯教室的照片和提示词 "a grand library with warm lamps"。深度估计器读出房间的布局，流水线画出一座保持相同座位排列和远近距离的图书馆。

新手与专家：如果你是新手，可以把深度图想成一份说明哪里近、哪里远的向导，你的提示词负责补上它们的样子。第一次尝试可以用一张照片、一个提示词和默认设置。

如果你熟悉这个领域：ControlNet 以端到端方式学习特定任务的条件，并挂接在预训练的扩散模型上。作者报告它的训练速度和微调差不多，数据集很小时也能奏效。

输入图像
深度估计器
深度控制图
ControlNet 加 Stable Diffusion
新图像

注意事项：模型详情把语言列为英语，并把它描述为基于扩散的文生图模型。这个检查点是在 Stable Diffusion v1-5 上训练的。

• Base: 推荐搭配 Stable Diffusion v1-5
• Authors: Lvmin Zhang 和 Maneesh Agrawala
• License: CreativeML OpenRAIL M
• Cost to run: 未提及
• Data it reaches: 下载到你电脑上的模型文件，以及你输入的图像
• Not for: 超出 CreativeML OpenRAIL M 条款的使用，来源没有详细说明这些条款

Hugging Face 上的数据（2026年11月13日）

• 任务：image to image
• 框架：diffusers
• 参数量：361M
• Weights: about 1.4 GB in F32; about 181 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：22,041
• 点赞：70
• 许可证：openrail
• 基于：runwayml/stable-diffusion-v1-5
• 标签：diffusers, safetensors, controlnet, stable-diffusion, controlnet-v1-1, image-to-image

链接

• 模型：https://huggingface.co/lllyasviel/control_v11f1p_sd15_depth
• 文件：https://huggingface.co/lllyasviel/control_v11f1p_sd15_depth/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download lllyasviel/control_v11f1p_sd15_depth

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。