VieGem-ASR

VieGem-ASR

转写越南语以及越南语和英语混合的语音，可离线处理，也可按 0.48 秒的块流式处理，使用基于 Google EmbeddingGemma 2 音频编码器的 359M 参数模型。仅限非商业使用。

由 5CD-AI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：VieGem-ASR 是面向越南语以及越南语混合英语的语音识别模型。它是一个 359M 参数的流式 CTC 模型，建立在 Google EmbeddingGemma 2 的音频编码器之上。作者说它受 QUAN-Transcribe-1.0 启发。同一个模型既能处理完整文件，也能处理实时音频。

适合谁：如果你是需要快速越南语转写、并且能接受非商业许可的开发者或研究人员，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
媒体 | 越南语字幕和转写团队 | 把录制的语音转成文字 | 把一段长访谈录音变成转写草稿
软件 | 开发语音功能的开发者 | 把音频分成短块输入，获得实时结果 | 在有人说话时显示字幕
医疗科技 | 处理带英文术语语音的团队 | 检查混合语言术语是怎么写的 | 测试夹带英文医学词汇的越南语语音
研究 | 语音研究人员 | 在同一批数据集上与其他识别器对比 | 在模型卡的越南语测试集上给它打分

如果你的工作是商业性的，或者你的音频不是越南语或英语，可以跳过它。

用在哪里：

• 装有 PyTorch 和 transformers 的 Python，在 CUDA GPU 上运行，模型卡的示例就是这样做的
• 装有 Python 的 Windows、macOS 和 Linux，用来下载文件
• 离线文件转写，或者按 0.48 秒的块流式处理，没有前瞻

用例 | 谁 | 得到什么
文件转写 | 媒体团队 | 每段最长 30 秒的录音的文字
实时字幕 | 应用开发者 | 来自流式音频块的文字
语言模型解码 | 研究人员 | 用附带的 n-gram 模型解码出的转写文本

如何设置：
你需要先准备：

• Python，并装好 torch、soundfile 和 transformers
• 一块 CUDA GPU，因为模型卡的示例会把模型放到它上面
• 接受 Google 对 EmbeddingGemma 2 的条款，代码注释里有这个要求
• 一个 16 kHz 单声道、最长 30 秒的音频文件

1. 安装或更新 Hugging Face 下载客户端。
2. 下载这个仓库，里面有权重、asr 代码文件夹和语言模型。
3. 在包含 asr 的文件夹里运行用法脚本。
4. 可选：安装 kenlm，用语言模型解码。

pip install -U huggingface_hub
hf download 5CD-AI/VieGem-ASR

pip install kenlm

如何使用：你加载检查点，读取单声道音频文件并运行模型，再把输出解码成文字。把 streaming 设为 True 就按 0.48 秒的块处理。

import torch, soundfile as sf
from transformers import AutoTokenizer
from asr.model import CTCModel, ModelConfig, greedy_decode     # asr/ folder of this repo
from asr.text import Units

ck = torch.load("viegem_asr.pt", map_location="cpu")
cfg = ModelConfig.from_dict(ck["model_config"])
units = Units(ck["gemma_ids"])
tok = AutoTokenizer.from_pretrained(cfg.encoder_id)               # google/embeddinggemma-2 (accept its terms)
model = CTCModel(cfg, units.gemma_ids)
model.load_state_dict(ck["model"], strict=False)
model = model.cuda().eval()

wav, sr = sf.read("audio.wav", dtype="float32")                  # 16 kHz mono, ≤ 30 s
x = torch.from_numpy(wav)[None].cuda()
with torch.no_grad(), torch.autocast("cuda", dtype=torch.bfloat16):
    logits, lens = model(x, torch.tensor([x.shape[1]], device="cuda"), streaming=False)  # streaming=True: 0.48 s chunks
print(units.decode(tok, greedy_decode(logits, lens)[0]))

装好语言模型后，你可以让同样的 logits 改走 LM 解码器。

from asr.lm_decode import LMDecoder

words = open("lm/viegem_lm.unigrams.txt", encoding="utf-8").read().split()
dec = LMDecoder("lm/viegem_lm.bin", unigrams=words, alpha=0.35, beta=1.5)
pieces = ["", ""] + tok.convert_ids_to_tokens(units.gemma_ids)
lp = torch.log_softmax(logits[0, : lens[0]].float(), -1).cpu().numpy()
print(units.decode(tok, dec.decode(lp, pieces, beam_width=32)))

工具 | 作用
CTCModel | 按检查点里的设置构建识别器
greedy_decode | 每一步取最优选择，把模型输出变成文字
LMDecoder | 用附带的 4-gram 语言模型和束搜索解码
streaming=True | 按 0.48 秒的块处理音频，而不是整段处理

示例：你把一段夹有几个英文术语的 16 kHz 单声道越南语语音保存为 audio.wav，然后运行脚本。它会打印这段音频的识别文字。

新手与专家：这个模型把越南语口语转成文字。可以先拿一小段清晰的语音，在带 CUDA GPU 的机器上用上面的脚本运行一次，之后再试语言模型。

对熟悉这个领域的读者来说，编码器是 EmbeddingGemma 2 的音频塔，有 12 个 conformer 层，每秒 25 帧，最上面 4 层经过微调。上面接着 6 个带分块注意力的 transformer 块，所以同一个模型既能离线也能流式使用。一个覆盖 21,031 个 Gemma token 的 CTC 头输出文字。训练用了约 5,800 小时的音频。

读取 16 kHz 单声道音频片段
用 EmbeddingGemma 2 音频塔编码
运行读取块和 CTC 头
贪心解码或用 4-gram 模型解码
打印转写文字

注意事项：

• 硬件：模型卡的示例在 CUDA GPU 上运行，并以一块 H100 报告速度。
• 速度：模型卡称批处理时约为实时的 3,500 倍，10 分钟的视频只需 0.49 秒。
• 结果：这些数字来自作者自己的运行，使用同一种文本规范化，请在你的数据上检验。
• 下载：代码按名称获取 EmbeddingGemma 2 的分词器，需要先接受 Google 的条款。

Title: 8 个越南语测试集上的平均词错误率，越低越好
VieGem-ASR + LM: 5.29 %
VieGem-ASR: 6.34 %
QUAN-Transcribe-1.0: 6.89 %
Gemini-Flash-3.8: 6.92 %
ElevenLabs Scribe v2: 7.08 %
PhoWhisper-large: 7.21 %
Qwen3-ASR-0.6B: 9.73 %
Whisper large-v3: 18.04 %

• License: CC BY-NC-SA 4.0，属于非商业许可。
• Cost to run: 未提及。你需要一块 CUDA GPU。
• Data it reaches: 你传入的音频，另外还要从 Hugging Face 下载编码器的分词器。
• Not for: 商业用途，或越南语和英语以外的语言。

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：pytorch
• 最近 30 天下载：0
• 点赞：12
• 许可证：cc-by-nc-sa-4.0
• 语言：vi, en
• 基于：google/embeddinggemma-2
• 标签：pytorch, vietnamese, code-switching, streaming, embeddinggemma, automatic-speech-recognition

链接

• 模型：https://huggingface.co/5CD-AI/VieGem-ASR
• 文件：https://huggingface.co/5CD-AI/VieGem-ASR/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download 5CD-AI/VieGem-ASR

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。