Dulu Malayalam ASR

Dulu Malayalam ASR

在 CPU 或 CUDA GPU 上把马拉雅拉姆语语音转成文字，是 Serendipity Labs 的早期研究版本。适合想为简短清晰的录音生成转写草稿的人。

由 serendipitylabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Dulu 能把马拉雅拉姆语的语音转成文字。Serendipity Labs 把它作为早期研究版本发布，基础模型是 Google 的 EmbeddingGemma 2。所有权重都随模型一起提供，约 1.3 GB，所以你不需要另外下载基础模型。请把每份转写当作需要人工检查的草稿，尤其是人名和数字。

适合谁：它适合想要马拉雅拉姆语语音初稿文字的人，以及研究这种语言语音识别的研究人员。

行业 | 谁在用 | 怎么用 | 例子
媒体 | 编辑和记者 | 为简短清晰的片段生成转写草稿，再复核 | 拿到一段访谈节选的初稿文字
研究 | 语音研究人员 | 复现模型卡里 Kathbath 和 FLEURS 的得分 | 把另一个马拉雅拉姆语模型和报告的错误率做对比
教育 | 老师和学习者 | 把简短的口语课文转成文字，再手动核对 | 把一句录音读成书面形式

如果你需要实时字幕、标点、说话人标注或时间戳，可以跳过它，因为它一个都不提供。

用在哪里：

• 装有 Python 3.12 或 3.13 的 Windows、macOS 或 Linux
• CPU，或支持 BF16 的 CUDA GPU
• 你自己的 Python 代码，从下载好的文件夹里导入 DuluASR

用例 | 谁用 | 得到什么
转写一段录音 | 有马拉雅拉姆语音频的人 | 一个 wav 文件识别出的文字
在代码里调用 | 开发者 | 由 model.transcribe 打印出的转写文字
检查准确率 | 研究人员 | 两个评测集上的词错误率和字符错误率

如何设置：

• Python 3.12 或 3.13
• 版本为 2.2.0 的 huggingface_hub 包
• 约 1.3 GB 权重的磁盘空间，运行时还需要额外内存
• 一段说话清晰的简短录音，工具会自己把它转成 16 kHz 单声道

1. 安装指定版本的 huggingface_hub 包。
2. 把模型下载到名为 dulu-malayalam-asr 的文件夹里。
3. 进入这个文件夹。
4. 安装它的依赖。
5. 对你的录音运行脚本。

python -m pip install huggingface_hub==2.2.0
hf download serendipitylabs/dulu-malayalam-asr --local-dir dulu-malayalam-asr
cd dulu-malayalam-asr
python -m pip install -r requirements.txt
python dulu_asr.py recording.wav --device cpu

如何使用：用你的录音和一个设备运行脚本。用处理器就写 --device cpu，如果是支持 BF16 的 CUDA GPU 就写 --device cuda。在 Python 里使用时，请在下载好的文件夹内操作。

import torch
from dulu_asr import DuluASR

torch.set_num_threads(4)
model = DuluASR.from_pretrained(".", device="cpu")
print(model.transcribe("recording.wav"))

工具 | 作用
dulu_asr.py | 在命令行里转写一段录音
--device | 选择用 cpu 还是 cuda 运行
DuluASR.from_pretrained | 从下载好的文件夹加载模型
model.transcribe | 返回一段录音的文字

示例：你用 cpu 设备，对保存为 recording.wav 的一段简短清晰的马拉雅拉姆语录音运行脚本。文字就会出来，你把它当作草稿来读，并修改人名、数字或不熟悉的词。

新手与专家：语音识别就是程序听一段录音，再把说的话写下来。第一次可以找一段一个人说得很清楚的简短录音，用 cpu 设备运行。

从底层看，训练集是 Kathbath，共 134.1 小时的马拉雅拉姆语语音。检查点是在 Kathbath 验证集上选出的，最后用 FLEURS 做测试。发布的是一次 12 轮训练里的第 4 轮。字符错误率在 Kathbath 验证集上是 7.15%，在 FLEURS 上是 11.15%。得分来自一次运行，先对文本做规范化，使用贪心解码，没有语言模型。

录音被转成 16 kHz 单声道
模型读取音频
生成马拉雅拉姆语文字
你复核草稿

注意事项：

Title: 词错误率，越低越好
Kathbath validation: 41.07 %
FLEURS Malayalam test: 44.13 %

• Kathbath 验证集里包含训练中也出现过的说话人，这可能让第一个得分偏好看。
• 这是研究版本。对话、方言、马拉雅拉姆语和英语混用、嘈杂音频和长录音都没有经过充分测试。
• CPU 和 GPU 的输出可能略有差别。
• License: Apache 2.0
• Cost to run: 未提到
• Data it reaches: 你给它的音频文件，在你自己的机器上运行，以及从 Hugging Face 平台获取的权重
• Not for: 生产环境的转写、标点、说话人识别、时间戳或实时音频流

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：pytorch
• 最近 30 天下载：71
• 点赞：2
• 许可证：apache-2.0
• 语言：ml
• 基于：google/embeddinggemma-2
• 标签：pytorch, malayalam, speech, gemma, research, automatic-speech-recognition, model-index

链接

• 模型：https://huggingface.co/serendipitylabs/dulu-malayalam-asr
• 文件：https://huggingface.co/serendipitylabs/dulu-malayalam-asr/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download serendipitylabs/dulu-malayalam-asr

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。