MOSS-Image-SFT-GGUF

MOSS-Image-SFT-GGUF

用压缩的 GGUF 文件在 CPU、Mac 或 GPU 上运行 MOSS-Image 文生图模型，可通过 Unsloth Studio 或 stable-diffusion.cpp 使用。适合在自己电脑上生成图片的人。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 OpenMOSS 的 MOSS-Image-SFT 的量化 GGUF 版本，一个有 51 亿参数的文生图 transformer。Unsloth 制作了这些文件，让模型能在普通硬件上运行。文件里只有 transformer，所以 VAE、分词器和文本编码器要从其他仓库获取。记录里列出的语言是英文和中文。

适合谁：适合想在本地根据文字提示生成图片的人，从使用 Unsloth Studio 的普通用户到编写命令行脚本的开发者。

行业 | 谁在用 | 怎么用 | 例子
设计 | 设计师和插画师 | 在自己的电脑上根据文字生成图片 | 一块白天的店铺招牌，字体粗而清晰
营销 | 小型营销团队 | 不把提示词发给托管服务就能起草视觉图 | 快速做一个店铺招牌样图
软件 | 开发者 | 从 stable-diffusion.cpp 命令行运行模型 | 用固定提示词和尺寸做脚本化渲染
科研 | 模型测试者 | 把各量化等级和 bf16 版本做对比 | 对比 Q8_0 和 UD-Q4_K_XL

需要文字聊天或代码帮助的人可以跳过它，因为这个模型只生成图片。

用在哪里：

• Unsloth Studio，在它的 Images 标签页里
• 包含 MOSS-Image 支持的 stable-diffusion.cpp 版本，master-975 或更新
• CPU、Mac 和 GPU
• Windows、macOS 或 Linux，装有 Python，用来下载文件

使用场景 | 适合谁 | 你会得到什么
在应用里生成图片 | 非技术用户 | 在 Unsloth Studio 里根据提示词得到图片，它会替你获取额外部件
命令行渲染 | 开发者 | 每条命令生成一个 png 文件，尺寸、步数和提示词由参数设置
质量对比 | 测试者 | 每个量化文件相对 bf16 版本的评分

如何设置：你需要先准备几样东西。

• Python 和 pip，用于 Hugging Face hub 工具
• Unsloth Studio，或带 MOSS-Image 支持的 stable-diffusion.cpp 版本
• 足够放下 transformer、文本编码器、VAE 和分词器的磁盘空间

1. 安装 hub 工具并下载这个仓库。
2. 在 Unsloth Studio 里，在 Images 标签页选择 MOSS-Image-SFT 并选一个 GGUF 文件。它会替你下载 VAE、分词器和文本编码器。
3. 使用 stable-diffusion.cpp 时，下载推荐的 transformer 文件、Qwen3.5-9B Q8_0 文本编码器，以及 FP8 仓库里的 VAE 和分词器。

pip install -U huggingface_hub
hf download unsloth/MOSS-Image-SFT-GGUF

hf download unsloth/MOSS-Image-SFT-GGUF MOSS-Image-SFT-UD-Q4_K_XL.gguf --local-dir moss
hf download unsloth/Qwen3.5-9B-GGUF Qwen3.5-9B-Q8_0.gguf --local-dir moss
hf download unsloth/MOSS-Image-SFT-FP8 vae/diffusion_pytorch_model.safetensors tokenizer/tokenizer.json --local-dir moss

如何使用：在 Unsloth Studio 里，你在 Images 标签页输入提示词。用 stable-diffusion.cpp 时，每生成一张图运行一次 sd-cli，让它指向下载好的四个文件。

./sd-cli --diffusion-model moss/MOSS-Image-SFT-UD-Q4_K_XL.gguf \
  --llm moss/Qwen3.5-9B-Q8_0.gguf \
  --vae moss/vae/diffusion_pytorch_model.safetensors \
  --tokenizer moss/tokenizer/tokenizer.json \
  --cfg-scale 3.0 --steps 50 -H 1024 -W 1024 -s 42 \
  -p "a storefront sign that says \"UNSLOTH\" in bold clean letters, daytime, sharp focus" -o moss.png

工具 | 作用
Unsloth Studio | 用自带引擎运行 MOSS-Image GGUF，默认 1024x1024、50 步、CFG 3、shift 5
sd-cli | stable-diffusion.cpp 的程序，每次运行渲染一张图
--diffusion-model | 指向 transformer 的 GGUF 文件
--llm | 指向文本编码器文件
--vae and --tokenizer | 指向 VAE 和分词器文件
--cfg-scale, --steps, -H, -W | 设置引导强度、步数、高度和宽度
-p and -o | 给出提示词文字和输出文件名

示例：你要一块白天的店铺招牌，上面用粗而清晰的字写着 UNSLOTH，对焦清晰，然后运行上面的命令。它会在当前文件夹写出一张 1024x1024 的图片，文件名为 moss.png。

新手与专家：GGUF 是一种紧凑的模型打包方式，让模型能在较小的机器上运行。如果你是新手，先从 Unsloth Studio 开始，因为它会自己获取额外部件。模型卡点名 3.42 GB 的 UD-Q4_K_XL 适合大多数机器。

UD 文件使用混合精度，每一层的类型由敏感度扫描和生成图片时收集的重要性矩阵来决定。质量用相对 bf16 transformer 的 LPIPS 评分，越低越接近。UD-Q4_K_XL 是 0.213，Q4_K_M 是 0.294。模型卡提醒，某一层的一次 bf16 舍入变化就会让渲染结果平均偏移约 0.041，所以很小的差距属于构图变化。

提示词交给 Qwen3.5-9B 文本编码器
Transformer GGUF 运行 50 步
VAE 把结果变成像素
图片保存为 png 文件

注意事项：

• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。你需要自己的硬件和足够放额外文件的磁盘空间。
• Data it reaches: 它从 Hugging Face 下载的额外模型文件，以及你写到磁盘上的图片文件。
• Not for: 单独使用。这些文件只包含 transformer，所以你还需要文本编码器、VAE 和分词器。

Title: 各量化文件及其与 bf16 的接近程度
文件 | 大小 | 说明
UD-Q3_K_XL | 2.84 GB | 列表里最小的
Q4_K_M | 3.20 GB | 相对 bf16 的 LPIPS 为 0.294
UD-Q4_K_XL | 3.42 GB | 模型卡为大多数机器推荐的
UD-Q5_K_XL | 3.95 GB | 更接近 bf16，LPIPS 0.121
UD-Q6_K_XL | 4.53 GB | 再接近一些，LPIPS 0.106
Q8_0 | 5.48 GB | 最接近的量化文件，LPIPS 0.054
BF16 | 10.17 GB | 全精度参考

Hugging Face 上的数据（2026年11月13日）

• 任务：text to image
• 框架：gguf
• 参数量：5.1B
• Weights: about 2.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：161,886
• 点赞：23
• 许可证：apache-2.0
• 语言：en, zh
• 基于：OpenMOSS-Team/MOSS-Image-SFT
• 标签：gguf, unsloth, quantized, moss-image, text-to-image

链接

• 模型：https://huggingface.co/unsloth/MOSS-Image-SFT-GGUF
• 文件：https://huggingface.co/unsloth/MOSS-Image-SFT-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/MOSS-Image-SFT-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。