DuDE

DuDE

根据 XML 脚本把两个人的对话生成为语音，有轮流发言、附和语和重叠说话，每位说话人一个声音。适合做对话音频的研究人员和开发者，仅限非商业使用。

由 penguinfish1688 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：DuDE 是一个用于全双工对话的文字转语音模型。它接收两位说话人的 XML 脚本，同时生成两个声音，包括轮流发言、简短的附和回应和重叠说话。输出是 24 kHz 的立体声 WAV 文件，说话人 A 在左声道，说话人 B 在右声道。

适合谁：它适合需要自然两人对话音频的语音研究人员和开发者，比如用来构建或测试对话系统。许可证只允许非商业使用。请只使用你有权使用的声音。

Industry | Who uses it | How they use it | Example
研究 | 语音和对话研究人员 | 根据脚本生成重叠的双人音频 | 制作带有打断的测试对话
软件 | 语音智能体开发者 | 为对话系统制作训练或测试音频 | 制作带有附和回应的示例通话
媒体 | 音频实验者 | 用两个不同的声音做对话场景原型 | 起草一段简短的访谈场景

需要商业使用，或者只需要单个旁白的人可以跳过它。

用在哪里：

• 带支持 CUDA 的 NVIDIA GPU 的电脑上的 Python 3.12
• 对话研究和数据生成流水线
• 能播放立体声 WAV 文件的音频工具

Use case | Who | What they get back
对话音频 | 研究人员 | 每个声道一位说话人的立体声 WAV
话轮转换测试 | 语音智能体开发者 | 带有打断、附和和重叠的音频
脚本场景 | 实验者 | 由 XML 脚本构建的双声音场景

如何设置：

• Python 3.12
• 支持 CUDA 的 NVIDIA GPU
• PyTorch 和 torchaudio 2.8.0，使用与你系统匹配的 CUDA 版本
• 约 7.7 GB 的磁盘空间，用于 F32 权重

1. 安装 Hugging Face hub 软件包。
2. 下载这个仓库，里面打包了推理代码、XML 前端、音频编解码器、模型和四个声音模板。
3. 用匹配的 CUDA 版 PyTorch 安装依赖。

pip install -U huggingface_hub

hf download penguinfish1688/full-duplex-speech-data-engine

如何使用：把对话写成 XML，每次发言一个标签，再用标记说明每一段何时开始。给每位说话人选一个声音模板，然后运行附带的推理代码。具体命令不在这里提供的文本里。

Tool | What it does
XML 前端 | 把话轮之间的依赖关系整理成交错的文本，供模型使用
声音模板 | 四个参考声音，用来约束每位说话人
事件标签 | 在脚本里标出笑声、咳嗽、叹气和倒吸气这类声音
立体声输出 | 24 kHz 的 WAV，说话人 A 在左，B 在右

示例：你写一段健身聊天脚本，说话人 B 提问，说话人 A 回答，同时 B 用短句应和。你选两个声音，运行推理代码。你得到一个立体声文件，说话人有时会重叠，就像真实交谈那样。

新手与专家：多数语音工具一次只读一个声音。这个模型一次生成对话的两边，所以他们可以互相打断。第一步可以先听卡片里的两个示例，再读它们的输入脚本。

DuDE 先在单独的话语上对 Qwen3-TTS 做自蒸馏，让共享主干适应两个交错的声道。然后在约 1,922 小时的同步对话录音上微调。两个声道各自判断说话何时结束，同时共用一条时间线。

说话人 A 和 B 的 XML 脚本
前端把文本交错排列
两个声道一起生成语音
输出立体声 WAV

注意事项：

• License: CC BY-NC 4.0，所以只能非商业使用。
• Cost to run: 未提及。你需要自己的 NVIDIA GPU。
• Data it reaches: 它从 Hugging Face Hub 下载文件，然后在你的机器上生成音频。
• Not for: 商业使用。参考说话人的声音应只用你有权使用的。
• 卡片里的示例脚本含有粗口。

Hugging Face 上的数据（2026年11月13日）

• 任务：text to speech
• 参数量：1.9B
• Weights: about 7.7 GB in F32; about 958 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：101
• 点赞：6
• 许可证：cc-by-nc-4.0
• 语言：en
• 基于：Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
• 标签：safetensors, qwen3_tts, full-duplex, conversation-tts, dialogue, stereo, qwen3-tts, text-to-speech

链接

• 模型：https://huggingface.co/penguinfish1688/full-duplex-speech-data-engine
• 文件：https://huggingface.co/penguinfish1688/full-duplex-speech-data-engine/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download penguinfish1688/full-duplex-speech-data-engine

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。