Mimi

Mimi

Kyutai 推出的神经音频编解码器，把语音压缩成紧凑的音频令牌，再解码还原。适合构建语音语言模型或文字转语音系统的研究者和开发者。

由 kyutai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mimi 是 Kyutai 推出的神经音频编解码器。它把语音转成频率为 12.5 Hz 的音频令牌流，码率为 1.1 kbps，并能把这些令牌解码回声音。令牌同时带有语义和声学细节。模型有 96.2 million 参数，在语音数据上端到端训练。

适合谁：适合研究语音语言模型或语音合成工具的人，因为模型卡说它是带着这类工作用语音数据训练的。也适合需要实时压缩语音音频的开发者。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
AI 研究 | 语音模型研究者 | 把音频令牌当作语音模型读写的单位 | 把一段音频编码成代码，再解码还原成音频
语音产品 | 文字转语音工程师 | 把语音压缩和还原当作流式步骤 | 接入流程之前先跑一遍编解码往返
软件 | Python 开发者 | 通过 transformers 库试用这个编解码器 | 在一段 LibriSpeech 短音频上运行模型卡里的示例

如果你处理的是音乐或一般声音，可以跳过它，因为模型卡把音频类型写成语音。

用在哪里：主要用法是 Python 加 transformers 库。模型卡还指向 Kyutai 自己的语音系统 Moshi，那是另一种用法。

• Python 加 transformers 库
• Moshi，Kyutai 的语音文字系统，它有自己的说明文件
• Windows、macOS 或 Linux 加 Python，用来下载文件

Title: 它能做的事
Use case | Who | What they get back
编码语音 | 研究者 | 一段音频对应的短音频代码序列
解码代码 | 开发者 | 由这些代码重建的波形
实时语音压缩 | 音频工程师 | 更小的语音数据，解码高效

如何设置：你需要 Python 和 pip。模型卡的示例还用到带音频扩展的 datasets 库，以及开发版的 transformers。

• 带 pip 的 Python
• 带音频支持的 datasets 库
• 来自主分支的开发版 transformers

1. 升级 pip，并安装带音频扩展的 datasets。
2. 按模型卡的说明，从 GitHub 主分支安装 transformers。
3. 可选：用 Hugging Face 工具取回模型文件。

pip install --upgrade pip
pip install --upgrade datasets[audio]

pip install -U huggingface_hub
hf download kyutai/mimi

如何使用：先加载一段简短的测试音频，用特征提取器处理，然后编码成音频代码，再解码还原。你也可以只调用一次模型，从结果里读取音频值。

from datasets import load_dataset, Audio
from transformers import MimiModel, AutoFeatureExtractor

# load a demonstration datasets
librispeech_dummy = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load the model + feature extractor (for pre-processing the audio)
model = MimiModel.from_pretrained("kyutai/mimi")
feature_extractor = AutoFeatureExtractor.from_pretrained("kyutai/mimi")

# cast the audio data to the correct sampling rate for the model
librispeech_dummy = librispeech_dummy.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = librispeech_dummy[0]["audio"]["array"]

# pre-process the inputs
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt")

# explicitly encode then decode the audio inputs
encoder_outputs = model.encode(inputs["input_values"])
audio_values = model.decode(encoder_outputs.audio_codes)[0]

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Title: 主要调用
Tool | What it does
MimiModel.from_pretrained | 按名称加载编解码器
AutoFeatureExtractor | 把原始音频处理成模型期望的采样率
model.encode | 把处理好的音频变成音频代码
model.decode | 由这些代码重建音频值

示例：你加载那段 LibriSpeech 小测试音频，处理后调用 encode，得到这段音频的音频代码。把它们交给 decode，会返回音频值，你可以拿它和原始录音对比。

新手与专家：如果你是新手，可以把编解码器想成一种紧凑的方法，把一段人声录音存成一小串数字。第一件事，是在模型卡的小测试音频上运行它的示例脚本。

如果你熟悉这个领域，Mimi 是带量化潜空间的流式编码器和解码器，端到端训练。它在低帧率下把语义和声学信息放进同一个令牌流。这用一些保真度换来语言模型能处理的令牌，而且训练数据只有语音。

一段语音输入
特征提取器处理音频
编码器生成音频代码
解码器重建音频

注意事项：按模型标准，权重很小。4 位的数字是 Hugging Face 记录里的估算，不是你要下载的文件。

Title: 权重大小，约数
F32: 385 MB
4-bit estimate: 48 MB

• License: CC-BY 4.0
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及模型卡加载的小型 LibriSpeech 示例
• Not for: 冒充他人或任何恶意用途，模型卡也承认它对训练数据里常见的话题有一些偏向

Hugging Face 上的数据（2026年11月13日）

• 任务：feature extraction
• 框架：transformers
• 参数量：96.2M
• Weights: about 385 MB in F32; about 48 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：133,933
• 点赞：345
• 许可证：cc-by-4.0
• Quantized versions: 5
• Fine-tunes: 5
• 标签：transformers, safetensors, mimi, feature-extraction, audio

链接

• 模型：https://huggingface.co/kyutai/mimi
• 文件：https://huggingface.co/kyutai/mimi/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download kyutai/mimi

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。