Granite Speech 5.0 TurboCTC 470M GGUF

Granite Speech 5.0 TurboCTC 470M GGUF

把语音转成文字，支持七种语言，是 IBM Granite Speech 5.0 TurboCTC 470M 的量化 GGUF 版本，为 transcribe.cpp 制作。适合想加入本地听写或转录功能的开发者。

由 vladers 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Granite Speech 5.0 TurboCTC 470M GGUF 是 vladers 根据 IBM 同名 Granite Speech 模型制作的一组语音转文字文件。它能转录七种语言，英语也在其中，并输出带标点和大写字母的文字。这些文件面向 transcribe.cpp 程序，共有七个版本，从 4 比特到完整的 32 比特精度。

适合谁：它适合给在用户自己电脑上运行的应用加入听写或转录功能的开发者，也适合想要一个小巧、构建过程可重复可核对的识别器的人。

行业 | 使用者 | 用法 | 例子
软件 | 应用开发者 | 给桌面应用加入离线听写 | 像 Voiceour 那样使用 Q8_0 文件
媒体 | 剪辑师和播客制作者 | 把录制的访谈变成文字 | 转录一个 16 kHz 的 WAV 文件
研究 | 语音研究者 | 按词错误率比较不同大小的文件 | 阅读模型卡里每个文件的结果

需要这七种以外的语言，或需要成品应用而不是模型文件的人可以跳过。

用在哪里：

• transcribe.cpp，一个用 CMake 构建的 C++ 语音程序
• 装有 Python 的 Windows、macOS 或 Linux 电脑，用于下载
• 嵌入它的应用，例如 macOS 听写应用 Voiceour

使用场景 | 谁用 | 得到什么
本地听写 | 应用开发者 | 带标点的语音转文字
访谈转录 | 剪辑师 | 来自录音的书面文字
量化检查 | 研究者 | 每种文件大小的错误率

如何设置：

• 装有 pip 的 Python，用于下载
• 带 CMake 的 C++ 构建环境，外加用于转换音频的 ffmpeg
• 为你选的文件留出磁盘空间，从 Q4_K_M 的约 279 MB 到 F32 的 1.89 GB
• transcribe.cpp 源代码，从它的 GitHub 页面获取

1. 安装 Hugging Face 的 hub 客户端。
2. 下载一个文件，例如 Q8_0 那个。
3. 把 transcribe.cpp 源代码取到名为 transcribe.cpp 的文件夹里，再用 CMake 构建它的命令行工具。
4. 用这个工具处理一个 16 kHz 单声道 WAV 文件。

pip install -U huggingface_hub
hf download vladers/granite-speech-5.0-470m-turboctc-GGUF granite-speech-5.0-470m-turboctc-Q8_0.gguf --local-dir .

cmake -S transcribe.cpp -B build
cmake --build build --target transcribe-cli -j

如何使用：先用 ffmpeg 把你的录音转成 16 kHz 单声道 WAV，再把模型文件和音频交给这个工具。模型卡建议在尝试静音或极短片段之前，先阅读它的 Known behaviour 说明。

ffmpeg -i in.mp3 -ar 16000 -ac 1 audio.wav

build/bin/transcribe-cli -m granite-speech-5.0-470m-turboctc-Q8_0.gguf audio.wav

工具 | 作用
ffmpeg | 把音频文件转成 16 kHz 单声道 WAV
transcribe-cli | 对音频运行模型文件并返回文字
hf download | 从 Hugging Face 获取模型文件

示例：你构建 transcribe-cli，下载 Q8_0 文件，用 ffmpeg 转换一段 MP3 访谈，再用工具处理它。模型卡没有给出示例输出，所以请查看工具自带的帮助来了解输出格式。

新手与专家：语音识别把音频变成文字，文件越小，就用一点精度换取更少的磁盘和内存。先用 Q8_0 文件，模型卡称它是默认选择。

每个文件的 520 个张量中，163 个被压缩，也就是线性层和逐点卷积，其余 357 个保持完整的 32 比特精度。BF16 文件保留 IBM 原始的线性权重。模型卡在 19,330 条英语音频上测量了每个文件，并列出了在 Apple M4 Pro 上的速度。

IBM 的 Granite Speech 检查点
转换成七个 GGUF 文件
按大小和精度挑一个文件
transcribe.cpp 加载它
输入音频，输出文字

Title: 确认集上的词错误率，单位 %
F32: 5.30 %
Q8_0: 5.30 %
Q6_K: 5.29 %
Q5_K_M: 5.32 %
Q4_K_M: 5.39 %
Parakeet TDT 0.6B v3: 7.21 %

Title: 各版本的文件大小，单位 MB
Q4_K_M: 279 MB
Q5_K_M: 336 MB
Q6_K: 392 MB
Q8_0: 506 MB
F16: 948 MB

注意事项：

• 版本：七个文件，从 279 MB 的 Q4_K_M 到 1.89 GB 的 F32
• 精度：在 17,858 条英语确认集上，Q4_K_M 的词错误率为 5.39%，完整精度文件为 5.30
• 体积：记录里粗略估计 4 比特约 237 MB，而模型卡给出的 Q4_K_M 是 279 MB
• 语言：七种，精度测试只覆盖英语
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你在自己电脑上处理的音频，而 pip 和 git 步骤会从网络获取软件包和代码
• Not for: 这七种之外的语言，或带窗口的成品应用

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 参数量：473M
• Weights: about 237 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：431
• 点赞：4
• 许可证：apache-2.0
• 语言：en, fr, de, es, pt, it, ja
• 基于：ibm-granite/granite-speech-5.0-470m-turboctc
• 标签：gguf, transcribe.cpp, speech-recognition, granite, automatic-speech-recognition, multilingual

链接

• 模型：https://huggingface.co/vladers/granite-speech-5.0-470m-turboctc-GGUF
• 文件：https://huggingface.co/vladers/granite-speech-5.0-470m-turboctc-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download vladers/granite-speech-5.0-470m-turboctc-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。