Voxtral 4B TTS 2603

Voxtral 4B TTS 2603

Mistral 推出的开放权重文本转语音模型，提供九种语言的 20 个预设声音，支持流式输出，延迟低。适合构建语音智能体、且能接受非商业许可的开发者。

由 mistralai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Voxtral TTS 是 Mistral 推出的开放权重文本转语音模型，基于 Ministral-3-3B-Base-2512 构建。它把书面文字变成语音，供语音智能体使用。它附带 BF16 权重、20 个预设声音，还可以适配新的声音。音频以 24 kHz 输出，格式有 WAV、PCM、FLAC、MP3、AAC 或 Opus。

适合谁：如果你要构建实时语音智能体，想要一个能自己部署的开放模型，用于非商业工作，它很适合开发者。

行业 | 谁在用 | 怎么用 | 例子
客户支持 | 联络中心团队 | 让语音智能体开口回答 | 把答案读出来的电话助手
金融服务 | 银行技术团队 | 用于身份核验的语音智能体 | 模型卡提到有银行 KYC 智能体的演示
汽车 | 车载软件团队 | 在车内说出回应 | 会说话的导航助手
翻译 | 语言服务团队 | 把翻译好的文字朗读出来 | 用另一种语言读出翻译后的消息

如果是商业产品，请跳过它，因为许可是非商业的；如果会模仿你无权使用的声音，也请跳过。

用在哪里：

• vLLM-Omni，模型卡推荐的部署库
• 内存 16 GB 或以上的单块 GPU
• 需要流式或批量音频的语音智能体工作流

用途 | 谁用 | 得到什么
语音智能体回复 | 开发者 | 由文字生成的语音音频
流式语音 | 实时应用 | 很快开始、边到边播的音频
批量旁白 | 内容团队 | 由许多文本生成的许多音频文件
声音定制 | 开发者 | 由一小段参考音频适配出的新声音

如何设置：

• Python，加上内存 16 GB 或以上的 GPU
• vllm 0.18.0 或更高版本，以及 0.18.0 或更高的 vllm-omni
• 磁盘空间需求未说明，下载前请先查看文件列表

1. 安装 vllm。
2. 安装 vllm-omni。
3. 检查 mistral_common 版本，应为 1.10.0 或更高。
4. 用 omni 参数启动服务。

pip install -U huggingface_hub
hf download mistralai/Voxtral-4B-TTS-2603

uv pip install -U vllm
uv pip install vllm-omni --upgrade

python3 -c "import mistral_common; print(mistral_common.__version__)"

vllm serve mistralai/Voxtral-4B-TTS-2603 --omni

如何使用：你向运行中的服务发送一个请求，包含文本、模型名、音频格式和声音名。模型卡的 Python 客户端会向你服务的音频语音端点发请求，再读取返回的音频。BASE_URL 代表你自己的服务地址。

payload = {
    "input": "Paris is a beautiful city!",
    "model": "mistralai/Voxtral-4B-TTS-2603",
    "response_format": "wav",
    "voice": "casual_male",
}

字段 | 作用
input | 要朗读的文本
model | 模型名，mistralai/Voxtral-4B-TTS-2603
response_format | 要返回的音频格式，比如 wav
voice | 预设声音之一，比如 casual_male

示例：你发送句子 "Paris is a beautiful city!"，声音选 casual_male，格式选 wav。服务返回音频，模型卡里的客户端读取它，并打印得到的采样数和采样率。

新手与专家：可以把它看作你在自己的 GPU 上运行的声音生成器。第一次尝试时，可以先启动服务，再用一个预设声音发送模型卡里的示例句子。

如果你熟悉这个领域，模型卡报告，在一块 NVIDIA H200 上，用 500 个字符的文本和 10 秒的参考音频，单个请求时实时因子为 0.103。并发 32 个请求时，延迟升到 552 ms，吞吐达到每块 GPU 每秒 1430.78 个字符。

发送文本和声音名
vLLM-Omni 运行模型
以 24 kHz 生成音频
收到 WAV、MP3 或其他格式

Title: 各并发数下的延迟
Concurrency 1: 70 ms
Concurrency 16: 331 ms
Concurrency 32: 552 ms

注意事项：

• 声音：20 个预设声音，另可适配新的声音。
• 语言：阿拉伯语、荷兰语、英语、法语、德语、印地语、意大利语、葡萄牙语和西班牙语。
• 声音权利：只使用你有权使用的声音，模型卡也要求用户遵守法律并避免滥用。
• License: CC BY-NC 4.0，参考声音也适用，所以不能商用。
• Cost to run: 除了 16 GB 或以上的 GPU，未提及其他费用。
• Data it reaches: 它会从 Hugging Face 下载模型文件，服务会处理你发送的文本和任何参考音频。
• Not for: 商业用途，或冒充等滥用行为。

Hugging Face 上的数据（2026年11月13日）

• 任务：text to speech
• 框架：vllm
• 最近 30 天下载：2,610
• 点赞：956
• 许可证：cc-by-nc-4.0
• 语言：en, fr, es, pt, it, nl, de, ar
• 基于：mistralai/Ministral-3-3B-Base-2512
• Quantized versions: 12
• Fine-tunes: 2
• 标签：vllm, mistral-common, text-to-speech

链接

• 模型：https://huggingface.co/mistralai/Voxtral-4B-TTS-2603
• 文件：https://huggingface.co/mistralai/Voxtral-4B-TTS-2603/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mistralai/Voxtral-4B-TTS-2603

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。