ClipProj-MiniMax-H3

ClipProj-MiniMax-H3

让小型 Qwen3-VL 在 ComfyUI 里代替 MiniMax H3 的 32B 文本编码器，把显存从 15.7 GB 降到 4.5 GB。这是需要自定义节点的概念验证项目。

由 NicoLab28 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：ClipProj 是一组用于 ComfyUI 里 MiniMax H3 的投影矩阵。有了它们，一个紧凑的 Qwen3-VL（4B 或 8B）就能代替 MiniMax H3 平时使用的 32B Qwen3-VL 来读取你的提示词。工作流里的其他部分都不变。作者称显存从 15.7 GB 降到 4.5 GB。

适合谁：它适合想用 MiniMax H3 做文生视频、但显卡放不下 32B 编码器的 ComfyUI 用户，也适合想了解扩散模型如何使用文本编码器的人。

Industry | Who uses it | How they use it | Example
视频创作 | 显存有限的 ComfyUI 用户 | 用小型 Qwen3-VL 加一个投影文件替换 32B 编码器 | 在放不下 32B 编码器的显卡上生成文生视频片段
本地化 | 使用多种语言的创作者 | 用 v3.1 文件改善非英语语音的发音 | 做一段角色说西班牙语或法语的片段
研究 | 模型爱好者 | 研究两个分别训练的编码器之间的线性映射 | 把 4B 和 8B 文件与 32B 对比

没有 ComfyUI 的人，或需要成品工具的人，可以跳过它。作者称它是概念验证。

用在哪里：这些文件只能在 ComfyUI 里通过一个单独的自定义节点使用。

• ComfyUI，并安装 ComfyUI-ClipProj 自定义节点
• 装有 NVIDIA 显卡的 Windows 11，也就是作者构建和测试所用的环境
• Hugging Face，文件托管在这里

Use case | Who | What they get back
用更少的显存运行 MiniMax H3 | ComfyUI 用户 | 同一个工作流，只是文本编码器换成小型 Qwen3-VL
改善非英语语音 | 多语言创作者 | 比早期 v3 文件更少的音素错误
比较编码器大小 | 研究人员 | 一个 4B 和一个 8B 文件，都与 32B 做过对比

如何设置：在文件起作用之前，你需要一个能用的 ComfyUI 和自定义节点。

• ComfyUI，并已配置好 MiniMax H3
• ComfyUI-ClipProj 自定义节点，v3.1 文件用 0.1.13 版，celeb-mlp 文件用 0.1.4 或更高版本
• 一个 Qwen3-VL 编码器，4B 或 8B
• Python，用于 Hugging Face hub 工具

1. 安装 ComfyUI-ClipProj 自定义节点。
2. 安装 Hugging Face hub 工具。
3. 下载模型文件。
4. 选和你的 Qwen3-VL 大小匹配的文件。
5. 通过自定义节点加载它，代替 32B 编码器。

pip install -U huggingface_hub
hf download NicoLab28/ClipProj-MiniMax-H3

这里看到的模型卡内容被截断了，所以没有列出节点名称和文件夹位置。这些请按自定义节点自己的说明操作。

如何使用：先从 mmh3-4b-ClipProj-v3.1 开始，模型卡推荐它。它增加 26 MB 的投影，连同编码器共 4.6 GB。然后运行你平时用的 MiniMax H3 文生视频工作流。

Tool | What it does
mmh3-4b-ClipProj-v3.1 | Qwen3-VL-4B 用的投影，也是模型卡建议的第一次尝试
mmh3-4b-ClipProj-v3.1-mlp | 同一个投影的 -mlp 变体，用于 4B
mmh3-8b-ClipProj-v3.1 | Qwen3-VL-8B 用的投影
mmh3-8b-ClipProj-v3.1-mlp | 同一个投影的 -mlp 变体，用于 8B

示例：你有一个 4B 的 Qwen3-VL，显卡又放不下 32B 编码器。你通过 ClipProj 节点加载 mmh3-4b-ClipProj-v3.1，请求一段角色说西班牙语的短片。作者说，换编码器对发音的影响，和换随机种子差不多。

新手与专家：如果你刚接触 ComfyUI，先把 MiniMax H3 跑起来，再加上自定义节点，试试 4B 文件。请读一读模型卡里哪些文件是当前版本，因为较早的教程提到的文件已经搬了位置。

如果你熟悉这个领域，每个文件都是两个从未成对训练过的编码器之间的一个线性映射，直接拟合而不是靠梯度训练。作者把每个分数都按种子之间的差异做了归一化，因为只换种子时，32B 会把 75 个音素中的 5.8 个读得不一样。四个 v3.1 文件会改变其中的 6.4 到 7.0 个。作者还提醒，余弦相似度看不出可数的属性。

你的文本提示词
小型 Qwen3-VL 对其编码
ClipProj 矩阵映射输出
MiniMax H3 扩散模型运行
你得到视频

注意事项：v3.1 的提升只在语音上，图像相比 v3 没有可测的提升。音素错误总体减少 29%，在西班牙语、法语、德语和意大利语中减少 60% 到 74%。

Title: 文本编码器这一步的显存
Qwen3-VL-32B 编码器: 15.7 GB
小型 Qwen3-VL 加 ClipProj: 4.5 GB

作者只在一套环境上构建和测试，即 Windows 11、NVIDIA 和 ComfyUI 0.31.0，探索也很有限。基准视频听起来很粗糙是有意的，分辨率低，采样步数少。

• License: MIT
• Cost to run: 没有提到，但你需要 ComfyUI、自定义节点和显存足够的 GPU
• Data it reaches: 它从 Hugging Face 下载文件。这里的模型卡没有提到账号、网络或剪贴板访问。
• Not for: 不用 ComfyUI-ClipProj 自定义节点就使用，或把它当成品工具，因为作者称它是概念验证

Hugging Face 上的数据（2026年11月13日）

• 任务：text to video
• 框架：comfyui
• 最近 30 天下载：0
• 点赞：180
• 许可证：mit
• 基于：Comfy-Org/MiniMax-H3
• 标签：comfyui, minimax-h3, text-to-video, qwen3-vl, text-encoder

链接

• 模型：https://huggingface.co/NicoLab28/ClipProj-MiniMax-H3
• 文件：https://huggingface.co/NicoLab28/ClipProj-MiniMax-H3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download NicoLab28/ClipProj-MiniMax-H3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。