ARK-ASR-3B

ARK-ASR-3B

用 Whisper 风格的音频编码器加 Qwen 解码器，把多种语言的语音转成文字。适合需要多语言转写的开发者和研究者，卡里给出了英文和中文的结果。

由 Edge0 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是一个语音识别模型，能把模型卡列出的多种语言的音频转成文字。它把 Whisper 风格的音频编码器、一个小适配器和 Qwen 解码器连在一起，并依赖随模型提供的自定义代码。模型卡报告它在 Hugging Face Open ASR Leaderboard 的英文短音频集上平均词错误率为 5.04%。

适合谁：适合需要准确多语言转写、并且习惯用 Python 和 transformers 的开发者和研究者。

行业 | 谁在用 | 怎么用 | 例子
媒体 | 播客和视频团队 | 把多语言录音转成文字 | 一段中文或英文采访的字幕
金融 | 分析师 | 把录制的电话会议变成可搜索的文字 | 一场录制简报的文字稿
软件 | 语音功能开发者 | 通过 transformers 或 vLLM 给应用加语音输入 | 应用背后的转写服务
研究 | 语音研究者 | 对照排行榜结果比较错误率 | 拿新数据集对照模型卡里的数字

如果你需要模型卡列表之外的语言或者小体积下载，可以跳过它，因为 BF16 权重大约占 8.1 GB。

用在哪里：它在 Python 里通过 transformers 库在 GPU 或 CPU 上运行，模型卡还指向一个 vLLM 服务脚本。

• Windows、macOS 或 Linux 上的 Python，加 transformers 和 torch
• 有 CUDA GPU 时就用它，否则模型卡的代码会退回到 CPU
• vLLM，用模型卡提到的项目里的服务脚本

使用场景 | 谁用 | 得到什么
多语言转写 | 媒体团队 | 来自模型卡所列任一语言音频的文字
语音服务 | 开发者 | 通过 vLLM 脚本得到的转写接口
基准检查 | 研究者 | 可以与其他模型比较的错误率

如何设置：先取得文件，安装 Python 包，然后在允许远程代码的情况下加载模型。模型卡自己的推理脚本是推荐的运行方式。

• Python，加 transformers 和 torch
• 采样率为 16 kHz 的音频
• 为 BF16 的约 8.1 GB 权重留出空间

1. 安装 Hugging Face 工具并下载模型文件。
2. 从 AutoArk 的 open-audio-opd 项目取得模型卡的推理脚本。
3. 把 trust_remote_code 设为 True 来加载模型。
4. 对一个 16 kHz 的音频文件运行它，读转写结果。

pip install -U huggingface_hub
hf download Edge0/ARK-ASR-3B

如何使用：加载处理器、分词器和模型，然后送入你的音频。模型卡的加载代码在下面，它用的路径是 AutoArk-AI/ARK-ASR-3B，示例文件叫 libai.wav。

import torch
from transformers import AutoModelForCausalLM, AutoProcessor, AutoTokenizer

model_path = "AutoArk-AI/ARK-ASR-3B"
audio_path = "assets/libai.wav"

device = "cuda" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.bfloat16 if device == "cuda" else torch.float32

processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    trust_remote_code=True,
    torch_dtype=torch_dtype,
    attn_implementation="sdpa",
).to(device)
model.eval()

工具 | 作用
ark_asr_transformers.py | 模型卡推荐的推理脚本，负责准备音频提示并整理输出
ark_asr_vllm | 在 vLLM 下提供模型服务的脚本
trust_remote_code=True | 让 transformers 能加载模型自定义 arkasr 代码的选项
AutoProcessor | 加载处理你录音的音频处理器

示例：让模型卡的脚本处理一段 16 kHz 的录音，比如它提到的示例文件 libai.wav。脚本会加载模型，让音频通过它，并打印出书面的转写文字。

新手与专家：语音识别把说出来的音频变成书面文字。第一个小尝试是对一小段音频运行模型卡的脚本，看看输出什么，然后再测试你自己的录音。

对专家来说，带 RoPE 的 Whisper 风格编码器把音频变成特征，MLP 适配器把它们合并，然后在生成转写之前替换 Qwen 解码器里的音频占位嵌入。自定义 arkasr 代码意味着你要运行仓库里的代码，所以请先读一遍。在所示的每一列基准上，3B 模型都胜过模型卡里的 0.6B 同系列模型，代价是下载更大。

录制或加载 16 kHz 音频
Whisper 风格编码器生成特征
MLP 适配器合并它们
Qwen 解码器读取占位嵌入
输出转写文字

注意事项：模型卡报告了 ARK-ASR-3B 的这些英文词错误率，越低越好。

Title: 英文词错误率，越低越好
AMI: 8.79 %
Earnings22: 8.23 %
GigaSpeech: 6.98 %
LS Clean: 1.03 %
LS Other: 2.35 %
SPGISpeech: 2.46 %
VoxPopuli: 5.47 %
平均: 5.04 %

• Languages: 模型卡列出了多种，从中文、英文到立陶宛语。
• Remote code: 加载需要把 trust_remote_code 设为 True，所以运行前请审阅代码。
• Chinese results: 模型卡报告的错误率是 AISHELL-1 上 1.80%，WenetSpeech test meeting 上 4.97%，WenetSpeech test-net 上 4.58%。
• Speed: 模型卡报告在排行榜数据集上的 RTFx 为 490.98。
• License: Apache-2.0。
• Cost to run: 未提及，没有 API 密钥、账号或付费服务。
• Data it reaches: 它读取你给它的音频文件，并从 Hugging Face 下载模型文件。
• Not for: 模型卡没有写明限制，它的最先进说法只覆盖英文短音频集。

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：transformers
• 参数量：4.1B
• Weights: about 8.1 GB in BF16; about 2 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,655
• 点赞：115
• 许可证：apache-2.0
• 语言：zh, en, de, ja, fr, ko, es, pl
• Quantized versions: 5
• Fine-tunes: 4
• 标签：transformers, safetensors, arkasr, text-generation, automatic-speech-recognition, speech, audio, pytorch, vllm, ark-asr

链接

• 模型：https://huggingface.co/Edge0/ARK-ASR-3B
• 文件：https://huggingface.co/Edge0/ARK-ASR-3B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Edge0/ARK-ASR-3B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。