MOSS-Image-SFT Segmentation Control LoRA

MOSS-Image-SFT Segmentation Control LoRA

借助 MOSS-Image-SFT 把平涂色块的区域图重绘成新图片，保留区域形状，由提示词决定每个区域变成什么。适合使用 ComfyUI 的图像创作者。

由 thedeoxen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是图像模型 MOSS-Image-SFT 的控制 LoRA。你给它一张平涂色块的区域图，它会保留这些区域的布局，由你的文字提示词决定每个区域变成什么。它是只接收一张控制图的编辑适配器，不是官方的 MOSS 颜色或深度适配器。选定的检查点来自训练的第 4500 步。

适合谁：适合先把画面规划成彩色形状、再让提示词补上主体、材质和风格的图像创作者。

行业 | 谁在用 | 怎么用 | 例子
插画 | 概念美术师 | 把场景划成色块区域，再用提示词渲染每一块 | 一张人物的粗略区域图变成穿着戏服的角色
影视和动画 | 分镜师 | 固定色彩脚本的布局，变换渲染效果 | 同样的形状呈现几种不同的氛围
游戏美术 | 场景美术师 | 固定角色、家具和背景的位置，同时更换外观 | 一个房间的布局被重绘成新的场景
营销 | 视觉设计师 | 在不同的外观上复用同一个构图 | 同一个布局，三个产品场景

如果你需要深度或颜色控制，或者不使用 ComfyUI，可以跳过它，因为模型卡只描述了在 ComfyUI 里的工作流。

用在哪里：它在 ComfyUI 中运行，作为 LoRA 加载在 MOSS-Image-SFT 模型之上。

• 带有 Text Encode MOSS-Image Edit 节点的 ComfyUI
• 加载在 UNet 上的 LoRA 加载器
• UniFormer 语义分割器，随附工作流用它来生成控制图

使用场景 | 谁用 | 得到什么
场景布局 | 概念美术师 | 一张遵循区域布局的成品图片
复用布局 | 设计师 | 保持人物、家具和背景位置不变的新渲染图
色彩脚本规划 | 分镜师 | 只事先确定形状的图片

如何设置：你需要 ComfyUI、MOSS-Image-SFT 的基础组件，以及这个仓库里的 LoRA 文件和工作流文件。

• 带有 MOSS-Image 节点的 ComfyUI
• MOSS-Image-SFT：它的 UNet、文本编码器和 VAE，文件名按模型卡列出的为准
• 这个仓库里的 LoRA 权重文件和 ComfyUI 工作流文件

1. 下载这个仓库的文件，或者用下面的命令获取。
2. 加载 MOSS-Image-SFT 的 UNet、类型为 moss_image 的文本编码器和 VAE。
3. 把这个 LoRA 加载到 UNet 上。
4. 在 ComfyUI 中打开随附的工作流。

pip install -U huggingface_hub
hf download thedeoxen/MOSS-Image-segmentation-controlnet

如何使用：以强度 1.0 加载 LoRA，然后构建一张平涂色块的控制图，把它作为唯一的参考图送入 Text Encode MOSS-Image Edit 节点。在提示词里描述你想要的画面。

1. 在正向和反向两个文本编码器里，都选 ai-toolkit 作为编辑格式，以匹配训练方式。
2. 采样设置为 30 步、CFG 4，采样器用 euler，调度器用 simple。
3. 不需要触发词。控制图确定结构，提示词提供出现的是谁或什么、由什么材质构成、穿什么以及身处何处。

工具 | 作用
LoRA 加载器 | 以 1.0 的强度把这个 LoRA 应用到 UNet
Text Encode MOSS-Image Edit | 把控制图作为唯一的参考图
UniFormer 分割器 | 在随附工作流里从照片生成区域图
ComfyUI 工作流文件 | 载入照片、生成区域图、编码并采样

示例：输入一张站立人物的平涂色块图，让它生成一张穿红色外套、戴礼帽、站在绘有马戏帐篷的背景前的马戏团团长全身照。人物的姿势和轮廓保持不变，衣着、颜色和场景则由文字补全。

新手与专家：分割图是一种图片，其中每块区域用一种平涂颜色标出，比如一个人、一把椅子或一面墙。这个 LoRA 把这张图当作布局，让你的文字去画细节。第一个小尝试，是对一张照片运行随附的 ComfyUI 工作流，再写一个简短的提示词。

对熟悉这个领域的人来说，线性层的秩是 64，卷积层的秩是 16，训练时让控制图在编辑中充当参考图。区域颜色只是编号，不是目标颜色。模型卡说，UniFormer 生成的图比把背景留黑的分割器更适合这些权重，而且它是在开启 kv cache 的情况下训练的，所以编辑格式必须是 ai-toolkit。

从照片或画好的区域图开始
UniFormer 生成平涂色块的控制图
控制图送入 Text Encode MOSS-Image Edit
LoRA 和你的提示词引导采样器
新图片遵循区域布局

注意事项：这些提示来自模型卡，示例预览把控制图和三个提示词的结果放在一起。

• 纯色填充：地图里的平滑渐变或纹理会让一个区域在哪里结束、下一个区域从哪里开始变得模糊。
• 颜色编号：区域的颜色不会变成结果里的那种颜色，所以要在提示词里写明材质。
• 强度：如果结果贴得太死，可以试试 0.7 左右，而不是训练时用的 1.0。

• License: Apache 2.0。
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务。
• Data it reaches: 你在 ComfyUI 里载入的照片和控制图，以及你下载的模型文件。
• Not for: 把它当作官方的 MOSS 颜色或深度适配器使用，模型卡说它不是。

Hugging Face 上的数据（2026年11月13日）

• 任务：image to image
• 框架：diffusers
• 最近 30 天下载：415
• 点赞：4
• 许可证：apache-2.0
• 语言：en
• 基于：OpenMOSS-Team/MOSS-Image-SFT
• 标签：diffusers, moss-image, controlnet, lora, comfyui, segmentation, image-to-image

链接

• 模型：https://huggingface.co/thedeoxen/MOSS-Image-segmentation-controlnet
• 文件：https://huggingface.co/thedeoxen/MOSS-Image-segmentation-controlnet/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download thedeoxen/MOSS-Image-segmentation-controlnet

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。