whisper-large-v3

whisper-large-v3

OpenAI 的语音转文字模型，能转写多种语言的音频，可以把语音翻译成英文文字，还能加上句子或单词级时间戳，适合任何想把录音变成文字的人。

由 openai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Whisper large-v3 是 OpenAI 把语音变成文字的模型。它能转写多种语言的音频，也能把语音翻译成英文文字。Whisper 系列从超过 500 万小时的带标注音频中学习，所以不用额外调整，也能应对多种不同的语音。Large-v3 保留了早期 large 模型的架构，只有两处小改动。它读取的频谱图用 128 个梅尔频率区间，而不是 80 个，并且新增了粤语的语言标记。

适合谁：它适合任何需要把录音变成文字的人，比如编辑、字幕制作者、客服团队和研究人员，也适合给应用加入语音识别的开发者。

Industry | Who uses it | How they use it | Example
媒体 | 播客作者和编辑 | 把录音变成文字 | 一次采访的文字稿
视频 | 字幕制作者 | 制作带时间戳的字幕 | 用于字幕的句子级时间
客户支持 | 客服团队 | 转写录下来的通话 | 通话存档里可搜索的文字
研究 | 语言学家 | 转写或翻译多种语言的语音 | 把西班牙语语音变成英文文字

如果你需要延迟极小的实时字幕，可以跳过它，因为模型卡的示例针对的是录好的音频。

用在哪里：

• 带 transformers 库及其 pipeline 类的 Python
• Windows、macOS 或 Linux，用 GPU 或 CPU 都行，因为模型卡的代码会选可用的那个
• 需要本地语音识别器的应用

Use case | Who | What they get back
转写 | 编辑 | 任意长度音频文件的文字
翻译 | 研究人员 | 把另一种语言的语音变成英文文字
字幕 | 字幕制作者 | 带句子级或单词级时间戳的文字

如何设置：

你需要先准备：

• Python 和 pip
• transformers、datasets 和 accelerate 库
• 存放权重的磁盘空间，F16 约 3.1 GB
• 有 GPU 会更快，但模型卡的代码在没有时会退回到 CPU

1. 升级 pip 并安装这些库。
2. 下载模型文件，或让 transformers 在首次加载时获取。
3. 运行 Python 示例，它会加载模型并转写一个样本。

pip install --upgrade pip
pip install --upgrade transformers datasets[audio] accelerate

pip install -U huggingface_hub
hf download openai/whisper-large-v3

如何使用：把模型加载进 pipeline，然后给它一个音频文件或一个文件列表。你可以设置语言、要求翻译成英文，或要求时间戳。

import torch
from datasets import load_dataset
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model_id = "openai/whisper-large-v3"
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)
processor = AutoProcessor.from_pretrained(model_id)
pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    torch_dtype=torch_dtype,
    device=device,
)
dataset = load_dataset("distil-whisper/librispeech_long", "clean", split="validation")
sample = dataset[0]["audio"]
result = pipe(sample)
print(result["text"])

先在 它的密钥设置 里填上你自己的值。

result = pipe("audio.mp3")
result = pipe(sample, generate_kwargs={"task": "translate"})
result = pipe(sample, return_timestamps=True)
print(result["chunks"])

Tool | What it does
pipeline | 转写任意长度的音频
batch_size | 并行转写多个文件
return_timestamps | 加上句子级或单词级的时间
task translate | 把另一种语言的语音变成英文文字

示例：你把 pipeline 指向一段存成 mp3 的录音采访。模型判断出所说的语言并返回文字。如果你要求时间戳，每一段文字都会带上开始和结束时间。

新手与专家：自动语音识别的意思是输入语音，输出文字。第一步可以先用模型卡的样本代码，再换成你自己的文件。

训练混合数据里有 100 万小时的弱标注音频，另有 400 万小时的伪标注音频，由 large-v2 协助收集。Transformers 支持 Whisper 的解码策略，比如温度回退和以前文 token 为条件，模型卡展示了如何打开它们。

把模型加载进 pipeline
传入一个音频文件
模型检测语言并转写
读取文字或时间戳

注意事项：模型卡报告它的错误比上一代 large-v2 更少。

Title: large-v3 的训练音频，单位百万小时
Weakly labeled: 1 million hours
Pseudo-labeled: 4 million hours

• 准确度: 按模型卡，在许多语言上错误比 large-v2 少 10% 到 20%
• 语言: Hugging Face 列出了英语、中文、德语、西班牙语、俄语、韩语、法语和日语
• 其他版本: 列出了其他人做的 56 个量化版本和 1,107 个微调版本
• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 你传入的音频，以及模型卡示例下载的样本数据集

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：transformers
• 参数量：1.5B
• Weights: about 3.1 GB in F16; about 772 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,489,398
• 点赞：6,802
• 许可证：apache-2.0
• 语言：en, zh, de, es, ru, ko, fr, ja
• Quantized versions: 56
• Fine-tunes: 1,108
• 标签：transformers, pytorch, safetensors, whisper, automatic-speech-recognition, audio, hf-asr-leaderboard

链接

• 模型：https://huggingface.co/openai/whisper-large-v3
• 文件：https://huggingface.co/openai/whisper-large-v3/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openai/whisper-large-v3

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。