ZONOS3-Mini GGUF

ZONOS3-Mini GGUF

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

由 AtomicChat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 Zyphra 的 ZONOS3-Mini 文本转语音模型的 GGUF 文件，由 AtomicChat 团队为 llama.cpp 制作。一个 800M 参数的主干生成语音编码，一个名为 ZAC 的编解码器再把它们转换成 44.1 kHz 的音频。它覆盖 10 种语言，内置 27 种声音。

适合谁：它适合想用 llama.cpp 在本地运行文本转语音的开发者，以及想比较语音模型量化级别的人。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
应用开发 | 开发者 | 给本地应用加上离线语音 | 一个会把回复读出来的桌面助手
本地 AI 工具 | 爱好者 | 和其他 llama.cpp 模型一起运行语音 | 一个能说多种语言的家用环境
语音研究 | 研究者 | 比较文件大小与错误率、声音相似度 | 权衡 0.41 GB 的文件和完整的 BF16 文件

想要稳定的、已合并的 llama.cpp 版本的人暂时可以跳过，因为制作这些文件时，相关支持还是一个未合并的拉取请求。

用在哪里：

• llama.cpp，需要在添加 ZONOS3 支持的拉取请求上构建
• NVIDIA GPU，使用 CUDA 构建选项
• Apple Silicon Mac，默认启用 Metal
• Windows、macOS 或 Linux：用 Python 下载文件

Title: 它能做的事
用途 | 适合谁 | 得到什么
本地语音合成 | 开发者 | 用某个内置声音，从文本生成 44.1 kHz 音频
大小权衡 | 研究者 | 六个主干文件，大小从 0.41 到 1.61 GB，可供比较
多语言声音 | 应用团队 | 一个模型卡测试过英语、德语和中文的模型

如何设置：你需要先准备：

• Windows、macOS 或 Linux 上的 Python，用来下载文件
• 一个从 ZONOS3 拉取请求构建的 llama.cpp，NVIDIA 用户需要 CUDA 选项
• 要一起加载的两个文件：一个主干和一个 mmproj，后者包含声音、码本头和编解码器的解码部分

1. 安装 Hugging Face hub 软件包。
2. 下载仓库文件。
3. 在模型卡指明的拉取请求上构建 llama.cpp。
4. 选一个主干和一个 mmproj 来加载。

pip install -U huggingface_hub
hf download AtomicChat/ZONOS3-Mini-GGUF

给 NVIDIA GPU 用的 CUDA 选项就是下面这个构建参数。

-DGGML_CUDA=ON

如何使用：在你的 llama.cpp 构建中同时加载主干和 mmproj，然后给它要朗读的文本。确切的命令在模型卡的 Run it 部分。这条命令用来获取文件。

hf download AtomicChat/ZONOS3-Mini-GGUF

模型卡推荐 AD-Q4_K_M 搭配 F16 mmproj，合计约 1.13 GB。它报告这一组合与 BF16 相比在噪声范围内，只是德语声音相似度略有下降。AD-Q3_K_M 最小，它的损失很小但可以测出。

示例：你加载 AD-Q4_K_M 和 F16 mmproj，像模型卡的示例那样，让英国女声 Imogen 读一句英语。返回 44.1 kHz 的音频。

新手与专家：如果你刚接触，等 llama.cpp 构建好后，先用推荐的这一组，约 1.13 GB。先试一句简短的英语，再试其他语言。

如果你熟悉这个领域，主干是一个混合专家模型，每帧约有 100M 个参数处于激活状态，混合了 Gated DeltaNet 和注意力，每帧预测 10 个码本。在 AD 文件里，专家之外的所有部分都保持在 Q8_0，专家的 ffn_down 张量精度提高一级。标准的 Q4_K_M 预设大小相近，但在中文上损失更多，字符错误率高出 1.8 个百分点。

文本和所选声音一起输入
主干每帧预测 10 个码本
mmproj 保存声音和编解码器的解码部分
ZAC 编解码器写出 44.1 kHz 音频

注意事项：模型卡列出了六个主干文件，mmproj 有两种大小：F32 为 1.07 GB，F16 为 0.62 GB。

Title: 主干文件大小，单位 GB
BF16: 1.61 GB
Q8_0: 0.85 GB
AD-Q6_K: 0.67 GB
AD-Q5_K_M: 0.61 GB
AD-Q4_K_M: 0.51 GB
AD-Q3_K_M: 0.41 GB

• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 只有你给它的文本，在本地用 llama.cpp 运行
• Not for: 在拉取请求合并之前的标准 llama.cpp，或 Zyphra 自己的 ggml 运行时，它的文件无法在这里加载

Hugging Face 上的数据（2026年11月13日）

• 任务：text to speech
• 框架：gguf
• 参数量：802M
• Weights: about 401 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：385
• 点赞：9
• 许可证：apache-2.0
• 语言：en, de, zh, fr, es, it, pt, ko
• 基于：Zyphra/ZONOS3-Mini
• 标签：gguf, quantized, llama.cpp, text-to-speech, zonos3

链接

• 模型：https://huggingface.co/AtomicChat/ZONOS3-Mini-GGUF
• 文件：https://huggingface.co/AtomicChat/ZONOS3-Mini-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download AtomicChat/ZONOS3-Mini-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。