InstantID

InstantID

只用一张人脸照片和一段文字提示词，就能生成同一个人的新图片，并保持面部可辨认。适合用 Python 运行 Stable Diffusion XL 流程的开发者和创作者。

由 InstantX 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：InstantID 能根据一张人脸照片和一段文字提示词，生成同一个人的新图片。每换一张脸都不用重新训练，所以改提示词就能换风格和场景。这个仓库放的是可接入 Stable Diffusion XL 流程的模型文件。

适合谁：它适合用 Python 生成图片、又希望结果仍像参考照片里那个人的开发者、画师和研究者。只使用你有权使用的人脸。

行业 | 谁在用 | 怎么用 | 例子
设计与艺术 | 插画师 | 以一张参考人脸为起点，尝试不同的外观和氛围 | 同一个人的复古胶片风格肖像
市场营销 | 内容团队 | 用一张照片，为同意出镜的人生成多样的图片 | 同一位模特在不同场景中的多张图片
软件 | 应用开发者 | 在图像应用里用 Python 调用这条流程 | 用户上传自拍并选一种风格的工具
研究 | 机器学习研究者 | 研究保持身份的生成方式，并调节它的两个强度设置 | 对比不同适配器强度下的结果

如果你不写 Python，可以跳过本地安装，直接试卡片提到的在线演示。

用在哪里：

• 使用 diffusers 库的 Python 脚本
• 装有 Python 的 Windows、macOS 或 Linux
• 带 CUDA 显卡的机器，卡片里的示例就在它上面运行
• 浏览器里的在线演示，卡片上有链接

使用场景 | 适合谁 | 能得到什么
跨风格保持同一张脸 | 画师 | 仍然像你照片里那个人的新图片
调整外观 | 开发者 | 用两个强度设置调好的图片
安装前先试试 | 任何人 | 在线演示生成的图片，无需本地安装

如何设置：第一次运行前，你需要装好 Python、pip 和几个库。

• Python 和 pip
• opencv-python、transformers、accelerate 和 insightface 这几个库
• antelopev2 人脸编码器文件，需要你手动下载
• 一块 CUDA 显卡，因为示例会把流程放到它上面运行

1. 用 pip 安装 Hugging Face 客户端。
2. 用 hf 命令下载整个仓库，或者在 Python 里只取三个检查点文件。
3. 安装示例里导入的那些库。
4. 按卡片所说，手动下载 antelopev2 人脸编码器，放进 models/antelopev2。
5. 运行加载代码，它会准备好人脸编码器、IdentityNet 和适配器。

pip install -U huggingface_hub
hf download InstantX/InstantID

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/config.json", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ControlNetModel/diffusion_pytorch_model.safetensors", local_dir="./checkpoints")
hf_hub_download(repo_id="InstantX/InstantID", filename="ip-adapter.bin", local_dir="./checkpoints")

# !pip install opencv-python transformers accelerate insightface
import diffusers
from diffusers.utils import load_image
from diffusers.models import ControlNetModel

import cv2
import torch
import numpy as np
from PIL import Image

from insightface.app import FaceAnalysis
from pipeline_stable_diffusion_xl_instantid import StableDiffusionXLInstantIDPipeline, draw_kps

app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))

face_adapter = f'./checkpoints/ip-adapter.bin'
controlnet_path = f'./checkpoints/ControlNetModel'

controlnet = ControlNetModel.from_pretrained(controlnet_path, torch_dtype=torch.float16)

pipe = StableDiffusionXLInstantIDPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16
... )
pipe.cuda()

pipe.load_ip_adapter_instantid(face_adapter)

如何使用：流程加载好以后，你把一张人脸照片和一段提示词交给它。示例会先从照片里读出人脸，再画出新图片。先把 prompt 设成你想要的画面。

image = load_image("your-example.jpg")
face_info = app.get(cv2.cvtColor(np.array(face_image), cv2.COLOR_RGB2BGR))
face_emb = face_info['embedding']
face_kps = draw_kps(face_image, face_info['kps'])
pipe.set_ip_adapter_scale(0.8)
image = pipe(
...     prompt, image_embeds=face_emb, image=face_kps, controlnet_conditioning_scale=0.8
... ).images[0]

工具 | 作用
FaceAnalysis | 在你的照片里找到人脸，返回它的嵌入向量和关键点
draw_kps | 把人脸关键点画成一张图，供流程当作引导
StableDiffusionXLInstantIDPipeline | 根据你的提示词和人脸数据生成图片
set_ip_adapter_scale | 设置适配器强度，示例里是 0.8
controlnet_conditioning_scale | 设置 IdentityNet 强度，示例里是 0.8

示例：你有一张朋友的清晰照片，他同意你用。你把适配器强度保持在 0.8，写一段带颗粒感和褪色效果的老胶片相机风格提示词，再传入人脸数据。你会得到同一个人的一张胶片风格新图片。

新手与专家：你给模型一张人脸照片，再写一句你想要的画面，它就会把这个人画进新的场景里。第一件可以试的小事，是在安装任何东西之前先试卡片链接的在线演示。

往底层看，人脸编码器会从照片里取出嵌入向量和关键点。名为 IdentityNet 的 ControlNet 接收关键点，IP-Adapter 带着嵌入向量，两者都接在 Stable Diffusion XL 基础模型上。两个强度值决定各部分的作用有多大。身份越强，饱和度可能越高，提示词对结果的引导也会变弱。示例只保留它找到的最大的那张脸。

你的人脸照片
人脸编码器找出嵌入向量和关键点
IdentityNet 和适配器引导基础模型
你的提示词决定风格和场景
同一个人的新图片

注意事项：

• Pipeline file: 示例导入的流程文件不在卡片文字里，请按卡片的指引去项目的代码仓库找。
• Similarity: 如果脸不够像，就同时调高 IdentityNet 强度和适配器强度。
• Saturation: 如果颜色太浓，先调低适配器强度，再调低 IdentityNet 强度。
• Text control: 如果提示词没被很好地遵循，就调低适配器强度。
• Realism: 想要更写实的风格，卡片建议换成项目代码仓库里更写实的基础模型。
• License: Apache 2.0，模型的许可证一行就是这样写的。
• Cost to run: 没有提到 API 密钥、账号或付费服务。你在自己的硬件上运行，示例用的是 CUDA 显卡。
• Data it reaches: 你磁盘上的照片文件，以及下载模型时用到的 Hugging Face。人脸编码器要手动下载。
• Not for: 卡片要求用户遵守当地法律并负责任地使用，并说明开发者不对滥用承担责任。

Hugging Face 上的数据（2026年11月13日）

• 任务：text to image
• 框架：diffusers
• Formats: Safetensors
• 最近 30 天下载：84,085
• 点赞：895
• 许可证：apache-2.0
• 语言：en
• 标签：diffusers, safetensors, text-to-image

链接

• 模型：https://huggingface.co/InstantX/InstantID
• 文件：https://huggingface.co/InstantX/InstantID/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download InstantX/InstantID

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。