RubatoCodec

RubatoCodec

把语音压缩成固定数量、长度可变的事件及其时长，并在流式解码时还原。这是面向搭建英语、日语和中文流式文字转语音的神经语音编解码器。

由 third-intelligence 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：RubatoCodec 是一个神经语音编解码器。它把语音切成固定数量的事件，每个事件带有离散的编码索引和时长。因为事件数量严格由语句长度决定，语音生成器事先就知道要生成多少个 token。因果解码器会逐步渲染已完成的事件，适合流式文字转语音。

适合谁：搭建语音生成系统、需要可预测 token 预算和流式解码的研究人员和开发者。

Industry | Who uses it | How they use it | Example
语音 AI | 研究人员 | 把编解码器用作语音生成器的 token 层 | 用它的编码训练文字转语音模型
软件 | 开发者 | 给应用加上流式语音解码 | 在事件到达时渲染语音
研究 | 音频工程师 | 研究低码率语音编码 | 比较两种深度下的重建效果

如果你想要现成的语音增强或转写工具，可以跳过它。

用在哪里：

• 你自己的电脑，用 Python 和 PyTorch，最好带 CUDA GPU
• 流式文字转语音流程
• 编解码器比较和语音生成研究

Use case | Who | What they get back
编码语音 | 研究人员 | 来自波形的事件编码和时长
解码语音 | 开发者 | 44.1 kHz 的音频
低码率解码 | 开发者 | 只用前几层得到的音频

如何设置：

• Python 和 uv 工具
• 项目 GitHub 仓库里的包，模型卡说要安装它
• 示例用到的 soundfile 和 torch 库
• 权重空间，F32 约 984 MB，外加加载时为编码下载的 w2v-BERT 2.0 模型

1. 从项目的 GitHub 页面克隆 RubatoCodec 仓库。
2. 进入该文件夹并同步环境。
3. 运行下面的编码和解码脚本。

cd RubatoCodec
uv sync

如果只想获取编解码器权重，可以用 Hugging Face 的步骤。

pip install -U huggingface_hub
hf download third-intelligence/RubatoCodec

如何使用：加载编解码器，读取单声道波形，编码成编码和时长，再解码。传入 depth 值会用更少的层来解码，得到更低的码率。

import soundfile as sf
import torch

from rubatocodec import RubatoCodec

codec = RubatoCodec.from_pretrained("third-intelligence/RubatoCodec", device="cuda")

data, sr = sf.read("speech.wav", dtype="float32")  # mono waveform
wav = torch.from_numpy(data)

enc = codec.encode(wav, sr=sr)       # {"codes": (16, K) int64, "durs": (K,) int64}
audio = codec.decode(enc)            # (1, 1, T_audio) at 44.1 kHz, full depth
audio = codec.decode(enc, depth=8)   # lower bitrate with the first 8 layers

sf.write("recon.wav", audio[0, 0].cpu().numpy(), codec.output_sr)

Tool | What it does
codec.encode | 把波形变成事件编码和时长
codec.decode | 用编码重建音频，可用完整深度或更少的层
depth argument | 只用前几层，得到更低的码率

示例：你编码一段名为 speech.wav 的单声道短录音，再用 depth 8 解码。脚本会写出 recon.wav，这是一个 44.1 kHz 的重建音频，码率比完整深度解码更低。

新手与专家：如果你是新手，用一小段音频运行脚本，再用耳朵比较 recon.wav 和原音。编解码器把音频压缩成小的编码再重建，所以会损失一些细节。

如果你是专家，量化器有 16 层，每层 4,096 个条目。第 0 层是带语义监督的 FSQ，第 1 到 15 层是残差 VQ。潜变量网格以 50 Hz 运行，每秒保留 12.5 个事件。你可以用 1 到 16 层之间的任意深度解码。

16 kHz 的语音被编码
自适应触发决定事件的位置
每个事件得到编码和时长
因果解码器渲染 44.1 kHz 的音频

注意事项：模型卡称，在 H200 上解码一个事件大约需要 11 毫秒，远少于它所代表的音频长度。

Title: 事件解码时间与每个事件的音频长度
H200 上每个事件的解码时间: 11 ms
每个事件平均代表的音频: 80 ms

• License: Apache 2.0，与 Hugging Face 记录一致。
• Cost to run: 没有提到 API 密钥或账号。示例中用了 CUDA GPU。
• Data it reaches: 加载时会下载 facebook 的 w2v-BERT 2.0 模型，只用于编码。它读取你给它的音频文件。
• Not for: 模型卡称它在英语和日语基准上可懂度最好，但也说最强的对比编解码器在 PESQ-WB 和 STOI 上得分更高。

Hugging Face 上的数据（2026年11月13日）

• 任务：audio to audio
• 参数量：246M
• Weights: about 984 MB in F32; about 123 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：670
• 点赞：18
• 许可证：apache-2.0
• 语言：en, ja, zh
• 标签：safetensors, audio, speech, neural-audio-codec, speech-tokenizer, variable-frame-rate, streaming, text-to-speech, audio-to-audio, multilingual

链接

• 模型：https://huggingface.co/third-intelligence/RubatoCodec
• 文件：https://huggingface.co/third-intelligence/RubatoCodec/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download third-intelligence/RubatoCodec

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。