LongCat-AudioDiT-3.5B

LongCat-AudioDiT-3.5B

用直接在波形潜空间里工作的扩散模型，把中文或英文文本变成语音，还能用你有权使用的参考样本克隆声音。

由 meituan-longcat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：LongCat-AudioDiT-3.5B 是美团 LongCat 团队的文本转语音模型。它用在波形潜空间里工作的扩散主干生成音频，所以跳过了梅尔频谱这类中间步骤。

整个流程只需要两部分，一个波形变分自编码器和扩散主干。模型卡列出的语言是中文和英文，并报告了零样本声音克隆的结果。

适合谁：想要一个公开代码和权重的开源文本转语音模型的语音研究人员和开发者。声音克隆是这里的一项功能，所以只能使用你有权使用的声音。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语音研究人员 | 研究波形潜空间里的扩散文本转语音 | 在 Seed 基准上把它的得分和 Seed-TTS 比较
软件 | 应用开发者 | 加入中文或英文的合成声音 | 把应用里的短消息读出来
媒体 | 内容制作者 | 不用逐句录音就能给脚本配音 | 把书面脚本变成语音音频

想要现成语音应用的人可以略过它，因为这个页面提供的是模型文件和研究代码，而不是应用。

用在哪里：

• Python 脚本，使用仓库里兼容 Hugging Face 的实现
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 中文和英文的语音工作

使用场景 | 谁用 | 得到什么
根据文本生成语音 | 开发者 | 中文或英文的语音音频
用参考样本克隆声音 | 研究人员和制作者 | 声音相近的语音，前提是你拥有相应权利
测试文本转语音 | 研究人员 | 可与其他系统比较的说话人相似度数据

如何设置：先为大文件下载做准备，因为 F32 权重约 15.3 GB。

• Python 和 pip，用于 Hugging Face 下载工具
• 放模型文件的磁盘空间，按 Hugging Face 的统计，F32 约 15.3 GB
• 仓库里的推理脚本，模型卡说它们随模型一起提供

1. 安装 huggingface_hub 包。
2. 用 hf 命令下载模型文件。
3. 按模型卡里的推理脚本生成语音。

pip install -U huggingface_hub
hf download meituan-longcat/LongCat-AudioDiT-3.5B

如何使用：模型卡说仓库提供模型定义、权重转换和推理脚本。用这些脚本处理你的文本。做声音克隆时，你还要提供说话人的参考录音。模型卡的用法部分在这里被截断了，具体脚本名请到模型页查看。

示例：你给它一句简短的中文或英文，克隆时再给一段你有权使用的参考录音。它返回一个音频文件，里面是用相近声音说出的这句话。

新手与专家：可以把它看作根据文字写出一段语音录音的模型。第一次尝试可以下载文件，打开模型卡，用它的一个推理脚本处理一句话。

从底层看，波形 VAE 把音频压缩到潜空间，扩散主干在潜空间里生成，不需要自回归解码。作者修正了训练与推理的不一致，并用自适应投影引导取代了无分类器引导。他们还报告说，VAE 重建得更好并不总能带来更好的语音。

输入文本和参考声音
扩散主干在潜空间里工作
波形 VAE 解码潜变量
输出语音音频

注意事项：下面的数据是作者自己在 Seed 基准上的结果，对比了与 Seed-TTS 的说话人相似度。

Title: 说话人相似度，越高越好
Seed-TTS 在 Seed-ZH: 0.809 SIM
LongCat-TTS-3.5B 在 Seed-ZH: 0.818 SIM
Seed-TTS 在 Seed-Hard: 0.776 SIM
LongCat-TTS-3.5B 在 Seed-Hard: 0.797 SIM

• 规模：名字写的是 3.5B，Hugging Face 的记录统计为 3.8B 参数，Safetensors 格式
• 变体：模型卡还链接了一个更小的 1B 版本，Hugging Face 显示别人做的 2 个量化副本
• License: MIT
• Cost to run: 没有提到 API 密钥或付费服务
• Data it reaches: 你交给它的文本和参考音频，以及你从 Hugging Face 下载的模型文件
• Not for: 模型卡除许可证外没有列出其他限制，但克隆声音需要说话人的许可

Hugging Face 上的数据（2026年11月13日）

• 参数量：3.8B
• Weights: about 15.3 GB in F32; about 1.9 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,026
• 点赞：83
• 许可证：mit
• 语言：zh, en
• Quantized versions: 2
• 标签：safetensors, audiodit

链接

• 模型：https://huggingface.co/meituan-longcat/LongCat-AudioDiT-3.5B
• 文件：https://huggingface.co/meituan-longcat/LongCat-AudioDiT-3.5B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download meituan-longcat/LongCat-AudioDiT-3.5B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。