t5-v1_1-xxl-encoder-gguf

t5-v1_1-xxl-encoder-gguf

Google T5 v1.1 XXL 文本编码器的 GGUF 转换版，用于在 llama.cpp 里生成文本嵌入，或通过 ComfyUI-GGUF 为图像生成模型提供输入。适合开发者和图像生成用户。

由 city96 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Google T5 v1.1 XXL 模型编码器部分的 GGUF 转换版，约有 4.8B 参数。它不写文字，而是把文字变成其他工具要用的嵌入。图像生成模型常常靠这样的 T5 编码器来读懂提示词。

适合谁：它适合运行图像生成工作流、想要更小的 T5 编码器文件的人，以及用 llama.cpp 计算文本嵌入的开发者。它是一个构件，不是应用。

Title: 谁在用
Industry | Who uses it | How they use it | Example
图像生成 | 工作流搭建者 | 通过 ComfyUI-GGUF 自定义节点加载编码器 | 与图像模型搭配来读提示词
软件 | 开发者 | 用 llama.cpp 计算文本嵌入 | 对一句话运行 llama-embedding 工具
爱好者 | 硬件一般的用户 | 选用更小的量化文件 | 内存紧张时使用较低的量化版

想要聊天模型的人可以跳过它，因为它只负责编码文本。

用在哪里：

• llama.cpp，通过它的 llama-embedding 工具
• ComfyUI，通过 ComfyUI-GGUF 自定义节点
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Title: 主要用途
Use case | Who | What they get back
提示词编码 | 图像生成用户 | 图像模型可以使用的文本嵌入
文本嵌入 | 开发者 | 一段文字的向量
低内存环境 | 硬件一般的用户 | 较低量化版的更小编码器

如何设置：

• 你电脑上的 Python，用于下载
• huggingface_hub 包
• llama.cpp，或带有 ComfyUI-GGUF 节点的 ComfyUI
• 按估计，4-bit 文件约需 2.4 GB 磁盘空间

1. 安装 Hugging Face 的 hub 包。
2. 把文件下载到你的电脑。
3. 选一个量化文件。模型卡推荐 Q5_K_M 或更大的。
4. 在 llama.cpp 或 ComfyUI-GGUF 节点里加载它。

pip install -U huggingface_hub
hf download city96/t5-v1_1-xxl-encoder-gguf

如何使用：模型卡提到了两种使用这些权重的方式。一种是 llama.cpp 自带的 llama-embedding 工具。另一种是 ComfyUI-GGUF 自定义节点，配合图像生成模型使用。除了下载，模型卡没有给出其他命令。

示例：你下载 Q5_K_M 文件，并把它加载到 ComfyUI-GGUF 节点里，放在图像模型旁边。当你输入提示词时，编码器会把它变成图像模型使用的嵌入。模型卡没有给出截图或输出，所以请在你自己的工作流里测试。

新手与专家：如果你是新手，可以把它看成图像模型里负责读懂你提示词的那一部分。第一件可以试的事，是在现有工作流里用 Q5_K_M 文件替换更大的原始编码器。

对于专家来说，这是一个没有重要性矩阵的量化版，因为 llama.cpp 无法为 T5 模型创建重要性矩阵。这就是为什么模型卡建议用 Q5_K_M 或更大的，不过资源紧张时，更小的文件也可能给出还不错的结果。

下载一个量化文件
在 llama.cpp 或 ComfyUI-GGUF 里加载
文字进入编码器
输出嵌入

注意事项：

• Quality: 模型卡推荐 Q5_K_M 或更大的。较小的文件在资源紧张时也可能够用。
• No imatrix: 这些量化版是普通的，因为 llama.cpp 无法为 T5 生成重要性矩阵。
• License: Apache 2.0。
• Cost to run: 来源未提及。
• Data it reaches: 它从 Hugging Face 下载文件，来源没有提到其他内容。
• Not for: 生成文字，因为它只是一个编码器。

Hugging Face 上的数据（2026年11月13日）

• 框架：gguf
• 参数量：4.8B
• Weights: about 2.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：220,826
• 点赞：552
• 许可证：apache-2.0
• 语言：en
• 基于：google/t5-v1_1-xxl
• 标签：gguf

链接

• 模型：https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf
• 文件：https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download city96/t5-v1_1-xxl-encoder-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。