granite-speech-5.0-470m-turboctc

granite-speech-5.0-470m-turboctc

把七种语言的语音转成带标点和大小写的文字。这是 IBM Granite 推出的 4.7 亿参数小模型，适合在服务器、笔记本和手机上做快速转写。

由 ibm-granite 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Granite Speech 5.0 TurboCTC 是 IBM Granite 推出的语音转文字模型。它能听英语、法语、德语、西班牙语、葡萄牙语、意大利语或日语的音频，并写出带标点和大写字母的文字。

它很小，约 4.7 亿参数，为速度而设计。它一次解码完成，而不是逐词生成，所以适合低延迟、高吞吐的转写。

适合谁：适合需要多语言准确转写、又想用小到能在自己机器上运行的模型的开发者和团队。模型卡写明的目标用途是企业级转写。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 给产品加入语音输入 | 把语音备忘录转成文字的笔记应用
客户服务 | 支持团队 | 转写多种语言的通话录音 | 把法语和德语通话存档变成可搜索的文字
媒体 | 编辑和制作人 | 为访谈和片段起草转写稿 | 把一段日语访谈转成转写初稿
设备 | 移动端和边缘端工程师 | 在设备本地运行转写 | 不把音频传出去的手机转写应用

如果你需要这七种以外的语言，或者想要现成的应用而不是一个用来搭建的模型，可以跳过它。

用在哪里：只要能运行 Python 和 transformers 库的地方都能用，模型卡还给出了 Apple Silicon 的用法。

• 装有 Python 和 transformers 的 Windows、macOS 和 Linux
• 通过 mlx-audio 运行在 Apple Silicon M 系列芯片上
• 笔记本、智能手机和其他边缘设备，模型卡就是这样描述的
• 一次转写大量文件的服务器

Use case | Who | What they get back
语音备忘录转写 | 应用开发者 | 短录音转成带标点的文字
多语言通话转写 | 客服和运营团队 | 说话人所用语言的文字
边缘语音输入 | 移动端开发者 | 不用大模型也能得到低延迟文字

如何设置：你需要一台装有 Python 和较新 transformers 版本的电脑。模型卡说 5.16.0 或更高版本原生支持这个模型。

• Python 和 pip
• transformers 5.16.0 或更高版本，加上 datasets 库
• 足够的磁盘空间，BF16 权重约 946 MB

1. 如果还没有 Python，先安装。
2. 用下面的命令安装 transformers 和 datasets。
3. 也可以用 Hugging Face 的命令提前下载模型文件。

pip install transformers>=5.16.0 datasets

pip install -U huggingface_hub
hf download ibm-granite/granite-speech-5.0-470m-turboctc

如何使用：加载处理器和 CTC 模型，传入音频样本，调用 generate，再解码结果。模型卡自带的脚本会对五段短示例音频做这件事。

from datasets import Audio, load_dataset
from transformers import AutoModelForCTC, AutoProcessor

model_id = "ibm-granite/granite-speech-5.0-470m-turboctc"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCTC.from_pretrained(model_id, device_map="auto")

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
ds = ds.cast_column("audio", Audio(sampling_rate=processor.feature_extractor.sampling_rate))
speech_samples = [el["array"] for el in ds["audio"][:5]]

# `device` computes the log-mel front-end on the model's accelerator, saving a host-to-device copy
inputs = processor(
    speech_samples, sampling_rate=processor.feature_extractor.sampling_rate, device=model.device
)
inputs.to(model.device, dtype=model.dtype)
outputs = model.generate(**inputs)
print(processor.batch_decode(outputs, skip_special_tokens=True))

Step | What it does
AutoProcessor | 把音频处理成模型能读取的形式
AutoModelForCTC | 加载语音模型，有 GPU 就放到 GPU 上
generate | 为每段音频生成词元输出
batch_decode | 把输出转成可读的文字

示例：你按模型卡的脚本，把示例数据集里的五段英语短音频送进去。它会打印一个含五条转写的列表，每条都带标点和大小写。

新手与专家：如果你是新手，就从上面的脚本开始。它会下载一个很小的测试数据集，把五段音频过一遍模型并打印文字，让你在试自己的音频之前先看到结果。

如果你熟悉这个领域：编码器是 conformer，结合了块注意力、自条件和沿时间的下采样。输出层覆盖 16,384 个多语言 BPE 单元。它用 CTC 在约 153,000 小时的公开多语言音频上训练，解码时用贪心方式，不做自回归。这是用一部分建模灵活性换来速度。

音频输入
Conformer 编码器读取
CTC 输出层选出词元
贪心解码，一次完成
带标点的文字输出

注意事项：在 Open ASR 排行榜的测试上，英语平均词错误率比之前只支持英语的版本有所改善，见下图。模型卡单独给出了日语的字符错误率，并说这个 470M 模型在三个日语测试集上都胜过 2B 的 Granite 模型。

Title: 英语平均词错误率，百分比
本次多语言版本: 5.51 percent
此前仅英语版本: 5.78 percent

• License: Apache 2.0
• Cost to run: 未提及费用，权重可免费下载和运行
• Data it reaches: 你提供的音频，以及它从 Hugging Face 下载的模型文件和测试数据集
• Not for: 它列出的七种语言之外的任何语言

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：transformers
• 参数量：473M
• Weights: about 946 MB in BF16; about 236 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：54,890
• 点赞：117
• 许可证：apache-2.0
• 语言：en, fr, de, es, pt, it, ja
• Quantized versions: 16
• Fine-tunes: 7
• 标签：transformers, safetensors, granite_speech5_ctc, automatic-speech-recognition, multilingual

链接

• 模型：https://huggingface.co/ibm-granite/granite-speech-5.0-470m-turboctc
• 文件：https://huggingface.co/ibm-granite/granite-speech-5.0-470m-turboctc/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ibm-granite/granite-speech-5.0-470m-turboctc

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。