whisper-large-v3-chileno-lora

whisper-large-v3-chileno-lora

一个 LoRA 适配器，帮助 Whisper Large-v3 转写真实呼叫中心电话里的智利西班牙语，包括自发口语、俚语和线路噪声。由 HablaIP SpA 制作。

由 hablaip 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 openai/whisper-large-v3 的一个 LoRA 适配器，经过调整，用来转写智利真实呼叫中心电话里的西班牙语。这些通话有自发口语、当地俚语和电话线路噪声。HablaIP SpA 在 CORFO 项目 25CH2-306482 中制作了它。

适合谁：它适合需要从智利西班牙语电话音频里得到文字的团队，也适合想把这件事放进语音流水线的开发者。

行业 | 谁在用 | 怎么用 | 例子
呼叫中心 | 智利的运营和质检团队 | 把通话录音转成文字 | 对一段通话录音运行适配器，阅读转写稿
语音技术 | 语音识别流水线的开发者 | 在 Whisper Large-v3 之上加上适配器 | 通过 PEFT 与基座模型一起加载
语音研究 | 研究领域适配的研究者 | 研究一个小型 LoRA 在窄领域上的效果 | 比较 21.18% 的错误率与未调整的 34.76%

如果你的音频是朗读语音、其他西班牙语口音或别的通话类型，模型卡没有测过，所以你可能想先自己试一试。

用在哪里：

• 使用 torch、transformers 和 peft 的 Python 脚本
• 把 16 kHz 音频数组送进 Whisper 的流水线
• 装有 Python 的 Windows、macOS 或 Linux

用途 | 谁用 | 能得到什么
通话转写 | 呼叫中心团队 | 一份电话通话的西班牙语逐字稿
微调基线 | 研究者 | 一个可以与原版 Whisper Large-v3 对比的调优模型
语音分析输入 | 开发者 | 保留口头语的文字，可直接用于分析

如何设置：
你需要先准备：

• 装有 torch、transformers 和 peft 的 Python
• 基座模型 openai/whisper-large-v3，代码会替你加载
• 采样率为 16 kHz 的 numpy 数组音频

1. 安装代码里导入的 Python 库。
2. 也可以用 Hugging Face 工具先取回适配器文件。
3. 按下面的代码，先加载基座模型，再在它上面加载适配器。

pip install -U huggingface_hub
hf download hablaip/whisper-large-v3-chileno-lora

如何使用：
这段代码加载 Whisper Large-v3，把语言固定为西班牙语、任务固定为转写，应用适配器，然后解码你的音频。变量 audio 代表你自己的 numpy 数组。

import torch
from transformers import WhisperForConditionalGeneration, WhisperProcessor
from peft import PeftModel

processor = WhisperProcessor.from_pretrained(
    "openai/whisper-large-v3", language="spanish", task="transcribe"
)
model = WhisperForConditionalGeneration.from_pretrained(
    "openai/whisper-large-v3", torch_dtype=torch.bfloat16
)
model.generation_config.language = "spanish"
model.generation_config.task = "transcribe"
model.generation_config.forced_decoder_ids = None

model = PeftModel.from_pretrained(model, "hablaip/whisper-large-v3-chileno-lora")
model = model.eval()

# audio: arreglo numpy a 16kHz
inputs = processor.feature_extractor(audio, sampling_rate=16000, return_tensors="pt")
with torch.no_grad():
    generated_ids = model.generate(input_features=inputs.input_features.to(torch.bfloat16), max_new_tokens=225)
texto = processor.tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

工具 | 作用
WhisperProcessor | 准备音频特征，并把生成的 token 解码成文字
WhisperForConditionalGeneration | 加载 Whisper Large-v3 基座模型
PeftModel | 把 LoRA 适配器应用到基座模型上

示例：你传入一段 16 kHz 的智利电话通话录音。模型返回说话人说出的西班牙语原话，保留口头语和重复，不做编辑式清理。

新手与专家：可以把它看作 Whisper 这个语音转文字模型的一个插件，让它更听得懂智利呼叫中心的西班牙语。第一次尝试可以拿一段短录音，跑上面的代码。

对懂行的人来说，这个 LoRA 在注意力块的 q_proj 和 v_proj 投影上使用秩 32、alpha 64、dropout 0.05。大约 1% 的参数参与训练，基座模型保持冻结。数据约 1,800 条片段，大约 8 小时，由人工逐字转写，不做语法修正。作者按整通电话来划分数据，所以同一段对话的片段不会同时出现在训练集和测试集里。

从 Whisper Large-v3 出发
冻结它，训练小型 LoRA 层
用人工转写的呼叫中心片段训练
把适配器加载到基座模型上

注意事项：

Title: 153 段通话音频上的词错误率
未调整的 Whisper Large-v3: 34.76%
这个适配器: 21.18%

• 结果：模型卡报告，在 78 通不同的电话上错误相对下降 39%，自助法置信区间没有越过基线。
• 领域：它是为智利呼叫中心的电话语音调整的，其他领域没有被表征。
• 数据：训练集很小而且是私有的，所以没有随模型一起发布。
• 输出：转写稿是逐字的，保留口头语和重复，没有为编辑做清理。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face 下载基座模型和适配器，代码处理的是你提供的音频。
• Not for: 干净的编辑级转写稿，以及模型卡没有测量过的口音和语音类型。

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：peft
• Formats: Safetensors
• 最近 30 天下载：79
• 点赞：6
• 许可证：apache-2.0
• 语言：es
• 基于：openai/whisper-large-v3
• 标签：peft, safetensors, whisper, automatic-speech-recognition, spanish, chilean-spanish, call-center, lora

链接

• 模型：https://huggingface.co/hablaip/whisper-large-v3-chileno-lora
• 文件：https://huggingface.co/hablaip/whisper-large-v3-chileno-lora/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download hablaip/whisper-large-v3-chileno-lora

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。