Groot-19B-A3B-TTQ-GGUF

Groot-19B-A3B-TTQ-GGUF

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

由 TokenTinkerer 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Groot-19B-A3B 的十一个 GGUF 版本，Groot-19B-A3B 是 GrootTeam 的开放权重推理模型。它们的精度从每权重 3.56 位到 8.50 位，让你在文件大小和保真度之间取舍。仓库还附带一个单独的 Q8_0 投影文件，让模型可以接收图像。

适合谁：想用 llama.cpp 在本地运行 Groot，并需要让文件大小匹配自己内存的人。量化研究人员也可以用其中的实测数据。卡片说这个模型不是用来做通用知识的。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地为使用工具的工作流运行推理模型 | 在 llama.cpp 里加载一个版本，给编程智能体用
自托管 | 小团队 | 不用托管 API 就能运行开放权重模型 | 选一个团队内存放得下的中等大小文件
研究 | 量化研究人员 | 比较文件大小和相对 BF16 参考模型的偏差 | 查看每个版本的 KLD 列
爱好 | 本地模型爱好者 | 在家用电脑上试用同一个模型的多种大小 | 先用较小的文件，再逐步升级

需要广泛通用知识模型的人可以跳过它，因为作者说这种紧凑设计会损失一些知识。

用在哪里：

• llama.cpp，这个模型标注的库
• Windows、macOS 或 Linux，下载工具需要 Python
• 支持图像的环境，把投影文件放在某个模型文件旁边使用

Use case | Who | What they get back
本地文本生成 | 开发者 | 在你自己的机器上运行的推理模型给出的回复
图像输入 | 使用支持视觉环境的用户 | 通过投影文件向模型输入图片的方式
质量比较 | 研究人员 | 每种文件大小的实测偏差和首选词元一致率

如何设置：

• Python，用于 Hugging Face hub 工具
• llama.cpp，用来加载并运行 GGUF 文件
• 存放一个文件所需的磁盘空间，从 7.88 GiB 到 18.59 GiB，如果要投影文件还需 586 MiB

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。仓库里有每个版本，所以完整下载很大。
3. 选一个适合你内存的文件，只保留它。
4. 在 llama.cpp 里加载这个文件。

pip install -U huggingface_hub
hf download TokenTinkerer/Groot-19B-A3B-TTQ-GGUF

如何使用：按大小选文件。较小的文件离 BF16 参考模型更远，较大的则更接近。文件名遵循同一个模式，名字里有每权重位数和类型。卡片展示的部分没有聊天命令，所以按 llama.cpp 平时加载 GGUF 的方式运行你选的文件。

Type | Size | Use
IQ3_XXS | 7.88 GiB | 最小的版本，实测偏差最大
Q3_K_M | 9.06 GiB | 文件较小，偏差适中
IQ4_XS | 9.60 GiB | 比上游 Q4_K_M 更小，在代码上的偏差接近
Q4_K_M | 11.17 GiB | 比上游文件略大，偏差更低
Q5_K_M | 13.63 GiB | 多占一些内存，输出更接近原模型
Q6_K | 14.96 GiB | 接近参考模型
Q8_0 | 18.59 GiB | 最大的版本，最接近 BF16 参考模型

示例：你的内存有限，选了 9.60 GiB 的 IQ4_XS 文件，而不是 10.86 GiB 的上游 Q4_K_M。按卡片的测量，这个文件小 11.6%，在代码上的偏差接近相同。

新手与专家：GGUF 文件是模型的一份打包副本，llama.cpp 可以直接加载。量化通过用更少的位来存储权重来缩小文件。第一次尝试可以选 Q4_K_M 文件，因为它处在范围的中间。

作者在 40 个固定的、每段 512 个词元的片段上，测量相对 BF16 模型 logits 的 KL 散度，用的是一组代码数据和 wikitext-2 测试集。旁边还报告了首选词元一致率。所有版本都从原始权重的 BF16 副本出发，中间没有第二次量化，所以都不带更早的舍入误差。逐张量的方案是从另外两个版本复用的，因为这些模型共用相同的 753 个张量名。

把原模型转换成 BF16
量化成十一个版本
测量相对 BF16 logits 的 KL 散度
发布每个文件及其实测数据

注意事项：

• Size: 十一个文件合计 124.75 GiB，仓库里的 BF16 参考文件是 35.4 GiB。
• Focus: 上游把 Groot 描述为面向推理和工具使用的系列。卡片说它不是通用知识模型。
• Measured: 作者说这些数字是在一台机器上测出来的，不是估算。

Title: 部分版本的文件大小
IQ3_XXS: 7.88 GiB
Q3_K_M: 9.06 GiB
IQ4_XS: 9.60 GiB
Q4_K_M: 11.17 GiB
Q5_K_M: 13.63 GiB
Q6_K: 14.96 GiB
Q8_0: 18.59 GiB

• License: Apache 2.0。
• Cost to run: 未提及。来源里没有出现 API 密钥或付费服务。
• Data it reaches: 你从 Hugging Face 下载的模型文件，以及你交给 llama.cpp 的提示词或图像。
• Not for: 通用知识问题。作者运行的那项知识基准显示了紧凑设计在哪里牺牲了准确度。

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：19B
• Weights: about 9.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：6,541
• 点赞：4
• 许可证：apache-2.0
• 语言：en, zh
• 基于：GrootTeam/Groot-19B-A3B-261023
• 标签：llama.cpp, gguf, quantized, imatrix, qwen35moe, vision, custom-quants, text-generation, conversational

链接

• 模型：https://huggingface.co/TokenTinkerer/Groot-19B-A3B-TTQ-GGUF
• 文件：https://huggingface.co/TokenTinkerer/Groot-19B-A3B-TTQ-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download TokenTinkerer/Groot-19B-A3B-TTQ-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。