Confucius4-TTS

Confucius4-TTS

用 14 种语言朗读你的文字，还能在不同语言之间复制参考声音，无需额外训练。这是网易有道的语音合成系统，适合开发者和创作者。只能使用你有权使用的声音。

由 netease-youdao 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Confucius4-TTS 是网易有道推出的语音合成系统，把语音编码器与大语言模型搭配在一起。它可以根据一小段参考录音克隆声音，并在切换语言时保持这个声音。模型卡列出了 14 种语言，并说明不需要参考文本。只能使用你有权使用的声音。

适合谁：如果你是想用同一个一致的声音生成多语言语音的开发者或创作者，比如旁白、配音或产品语音，它适合你。

行业 | 谁在用 | 怎么用 | 例子
媒体 | 视频和音频创作者 | 用同一个声音以多种语言为内容配音 | 同一位旁白用英语和日语朗读一份脚本
软件 | 开发者 | 给应用加上多语言语音 | 一个把文字转成 wav 文件的脚本
教育 | 语言老师 | 制作不同语言的听力材料 | 用稳定的声音朗读句子
研究 | 语音研究人员 | 研究零样本和跨语言合成 | 比较声音在不同语言间的迁移

如果你无法确认自己有权使用某个声音，可以不用声音克隆功能。

用在哪里：你在 Python 里运行它，模型卡列出的要求是 Python 3.10 和 CUDA 12.6。它还指向 Hugging Face 上的在线演示。

• Python 3.10 和 conda
• 支持 CUDA 的 GPU，不过模型卡的 Python 示例在没有时会退回到 CPU
• 装有 huggingface_hub 包的 Windows、macOS 或 Linux，用于下载

使用场景 | 谁用 | 得到什么
声音克隆 | 创作者 | 用参考声音说出的语音，不需要文本
跨语言声音 | 配音团队 | 同一个声音说另一种语言
情感迁移 | 制作人 | 带有参考录音情感的语音

如何设置：你需要 Python 3.10、CUDA 12.6、conda 和 git，以及项目的代码和模型文件。模型卡会克隆它的 GitHub 仓库，创建 conda 环境并安装依赖。

• Python 3.10 和 conda
• CUDA 12.6
• git，用来获取项目的仓库

1. 像模型卡那样，从 GitHub 克隆项目的仓库。
2. 创建并激活一个 conda 环境。
3. 安装依赖。
4. 下载模型文件。

cd Confucius4-TTS
conda create -n confuciustts python=3.10 -y
conda activate confuciustts
pip install -r requirements.txt
pip install -U huggingface_hub
hf download netease-youdao/Confucius4-TTS

如何使用：用一段参考录音、文字、语言代码、输出文件和配置文件来运行示例脚本。你也可以像第二个代码块那样直接调用 Python API。

python example.py \
    --prompt_wav path/to/reference.wav \
    --text "Your text to synthesize" \
    --lang en \
    --out output.wav \
    --config config/inference_config.yaml

import torch
import torchaudio
from confuciustts.cli.inference import ConfuciusTTS

model = ConfuciusTTS(
    config_path="config/inference_config.yaml",
    device="cuda" if torch.cuda.is_available() else "cpu",
)

audio = model.generate(
    text="Hello, welcome to Confucius4-TTS.",
    lang="en",
    prompt_wav="path/to/reference.wav",
    verbose=True,
)

torchaudio.save("output.wav", audio.cpu(), model.sample_rate)

Tool | What it does
--prompt_wav | 被复制声音的参考录音
--text | 要朗读的文字
--lang | 语言代码，比如 en
--out | 输出的音频文件
--config | 推理设置文件

示例：你让脚本使用一段你有权使用的参考录音，并让它说“Hello, welcome to Confucius4-TTS.”，语言设为 en。它会保存 output.wav，里面是用参考声音说出的这句话。

新手与专家：如果你刚接触，它能把文字朗读出来，还能借用一小段示例声音的音色。第一件小事是用一段参考录音和一句简短的话运行示例脚本。

如果你熟悉这个领域，它采用语音编码器加 LLM 的设计，有两个模块。Text2Semantic 根据文本和说话人条件生成语义令牌，Semantic2Acoustic 是流匹配模型，把这些令牌转成梅尔频谱。微调需要两个外部模型，Wav2Vec2-BERT 和 Amphion MaskGCT。

输入文字和一段参考声音
Text2Semantic 生成语义令牌
Semantic2Acoustic 构建梅尔频谱
输出语音音频

注意事项：模型卡说它支持 14 种语言，包括中文、英语、日语、韩语和德语，并说还会增加更多。

• License: Apache-2.0
• Cost to run: 没有提到任何 API 密钥或付费服务，但模型卡要求 CUDA 12.6 和 GPU 环境
• Data it reaches: 下载来自 Hugging Face 和 GitHub，模型处理你给它的文字和参考音频
• Not for: 克隆你无权使用的声音

Hugging Face 上的数据（2026年11月13日）

• 任务：text to speech
• Formats: Safetensors
• 最近 30 天下载：2,190
• 点赞：46
• 许可证：apache-2.0
• 语言：zh, en, ja, ko, de, fr, id, vi
• Quantized versions: 1
• Fine-tunes: 4
• 标签：safetensors, confucius4, text-to-speech, speech-synthesis, zero-shot, voice-cloning, cross-lingual, multilingual

链接

• 模型：https://huggingface.co/netease-youdao/Confucius4-TTS
• 文件：https://huggingface.co/netease-youdao/Confucius4-TTS/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download netease-youdao/Confucius4-TTS

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。