Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
把英语语音转成文字,速度约为 Whisper large-v3 的 6.3 倍,长音频上的准确率仍很接近。适合需要转写录音的开发者和团队。
Distil-Whisper distil-large-v3 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install --upgrade pip pip install --upgrade transformers accelerate datasets[audio]
distil-large-v3 是一个英语语音识别模型。它是 OpenAI 的 Whisper large-v3 的蒸馏小型版本,参数量 7.56 亿,而 large-v3 是 15.5 亿。它针对长录音的准确转写做了调整。
模型卡说它在长音频上的词错误率与 large-v3 相差不到 1%,速度快 6.3 倍。它可以配合 Transformers 和常见的 Whisper 库使用。
适合需要在自己硬件上快速转写英语的开发者和团队,短片段和长录音都行。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 媒体 | 播客和视频团队 | 转写录音,生成字幕和笔记 | 把访谈录音变成文字 |
| 软件 | 应用开发者 | 在产品里加入语音转文字 | 应用里的语音笔记功能 |
| 教育 | 讲师和学生 | 转写讲座以便搜索和复习 | 把录下来的课写成文字 |
| 研究 | 语音研究人员 | 对比蒸馏模型和完整 Whisper 模型 | 在自己的音频上测量错误率 |
如果你需要转写英语以外的语言,可以跳过它,因为模型卡只列了英语。
| Use case | Who | What they get back |
|---|---|---|
| 短片段转写 | 应用开发者 | 30 秒以内音频的文字 |
| 长录音转写 | 媒体团队 | 用顺序或分块方法得到的长音频文字 |
| 更快的流水线 | 工程师 | 换掉 large-v3 的更小模型,速度更快 |
你需要 Python 和较新的 Transformers 库。
pip install --upgrade pip pip install --upgrade transformers accelerate datasets[audio]
把模型加载到语音识别流水线里,然后传入音频。这个示例转写一个来自小型测试数据集、短于 30 秒的片段。
import torch
from datasets import load_dataset
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model_id = "distil-whisper/distil-large-v3"
model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)
processor = AutoProcessor.from_pretrained(model_id)
pipe = pipeline(
"automatic-speech-recognition",
model=model,
tokenizer=processor.tokenizer,
feature_extractor=processor.feature_extractor,
max_new_tokens=128,
torch_dtype=torch_dtype,
device=device,
)
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
sample = dataset[0]["audio"]
result = pipe(sample)
print(result["text"])先在 它的密钥设置 里填上你自己的值。
要转写你自己的文件,把文件路径传给流水线,替换掉示例里的 sample:
result = pipe("audio.mp3")| Tool | What it does |
|---|---|
| pipeline | 包装模型,你传入音频就能得到文字 |
| Short-form | 处理短于 30 秒的片段 |
| Sequential long-form | 用 OpenAI 的顺序算法转写较长的音频 |
| Chunked long-form | 把长音频切成块再把文字拼起来 |
把名为 audio.mp3 的录音路径传给流水线。结果里的 text 键下就是转写出来的文字,你可以打印或保存。
如果你刚接触,语音识别模型就是听音频并把话写下来。先装好 Transformers,在测试片段上跑一次短示例,再换成你自己的音频文件。
对专家来说,这个模型经过蒸馏,使 Whisper 库默认使用的顺序长音频算法也能给出准确的输出。模型卡报告的长音频错误率是顺序 10.8、分块 10.9,而 large-v3 是 10.0 和 11.0。在顺序长音频上它优于 distil-large-v2,10.8 对 15.6。
下面几点说明了限制和成本。
把英语语音转成文字,速度约为 Whisper large-v3 的 6.3 倍,长音频上的准确率仍很接近。适合需要转写录音的开发者和团队。
由 distil-whisper 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:distil-large-v3 是一个英语语音识别模型。它是 OpenAI 的 Whisper large-v3 的蒸馏小型版本,参数量 7.56 亿,而 large-v3 是 15.5 亿。它针对长录音的准确转写做了调整。
模型卡说它在长音频上的词错误率与 large-v3 相差不到 1%,速度快 6.3 倍。它可以配合 Transformers 和常见的 Whisper 库使用。
适合谁:适合需要在自己硬件上快速转写英语的开发者和团队,短片段和长录音都行。
Industry | Who uses it | How they use it | Example
媒体 | 播客和视频团队 | 转写录音,生成字幕和笔记 | 把访谈录音变成文字
软件 | 应用开发者 | 在产品里加入语音转文字 | 应用里的语音笔记功能
教育 | 讲师和学生 | 转写讲座以便搜索和复习 | 把录下来的课写成文字
研究 | 语音研究人员 | 对比蒸馏模型和完整 Whisper 模型 | 在自己的音频上测量错误率
如果你需要转写英语以外的语言,可以跳过它,因为模型卡只列了英语。
用在哪里:
Use case | Who | What they get back
短片段转写 | 应用开发者 | 30 秒以内音频的文字
长录音转写 | 媒体团队 | 用顺序或分块方法得到的长音频文字
更快的流水线 | 工程师 | 换掉 large-v3 的更小模型,速度更快
如何设置:你需要 Python 和较新的 Transformers 库。
pip install --upgrade pip
pip install --upgrade transformers accelerate datasets[audio]
如何使用:把模型加载到语音识别流水线里,然后传入音频。这个示例转写一个来自小型测试数据集、短于 30 秒的片段。
import torch
from datasets import load_dataset
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model_id = "distil-whisper/distil-large-v3"
model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)
processor = AutoProcessor.from_pretrained(model_id)
pipe = pipeline(
"automatic-speech-recognition",
model=model,
tokenizer=processor.tokenizer,
feature_extractor=processor.feature_extractor,
max_new_tokens=128,
torch_dtype=torch_dtype,
device=device,
)
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
sample = dataset[0]["audio"]
result = pipe(sample)
print(result["text"])
先在 它的密钥设置 里填上你自己的值。
要转写你自己的文件,把文件路径传给流水线,替换掉示例里的 sample:
result = pipe("audio.mp3")
Tool | What it does
pipeline | 包装模型,你传入音频就能得到文字
Short-form | 处理短于 30 秒的片段
Sequential long-form | 用 OpenAI 的顺序算法转写较长的音频
Chunked long-form | 把长音频切成块再把文字拼起来
示例:把名为 audio.mp3 的录音路径传给流水线。结果里的 text 键下就是转写出来的文字,你可以打印或保存。
新手与专家:如果你刚接触,语音识别模型就是听音频并把话写下来。先装好 Transformers,在测试片段上跑一次短示例,再换成你自己的音频文件。
对专家来说,这个模型经过蒸馏,使 Whisper 库默认使用的顺序长音频算法也能给出准确的输出。模型卡报告的长音频错误率是顺序 10.8、分块 10.9,而 large-v3 是 10.0 和 11.0。在顺序长音频上它优于 distil-large-v2,10.8 对 15.6。
安装 Transformers 及其辅助库
加载模型和处理器
构建语音识别流水线
传入音频片段或文件路径
从结果里读取转写文字
Title: 相对 large-v3 的速度,越高越快
large-v3: 1.0 times
distil-large-v2: 5.8 times
distil-large-v3: 6.3 times
注意事项:下面几点说明了限制和成本。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download distil-whisper/distil-large-v3
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Distil-Whisper distil-large-v3 本页 | 754,155 | 386 | 756M | mit | |
| whisper-persian-v4共有 tensorboard · whisper · automatic-speech-recognition | 1,071 | 21 | 1.5B | apache-2.0 | |
| whisper-base-ar-quran共有 tensorboard · whisper · automatic-speech-recognition | 353,756 | 195 | — | apache-2.0 | |
| SmolLM2-135M-Instruct共有 tensorboard · transformers.js · onnx | 841,106 | 474 | 135M | apache-2.0 | |
| SmolLM2-1.7B-Instruct共有 tensorboard · transformers.js · onnx | 267,519 | 772 | 1.7B | apache-2.0 | |
| SmolLM2-360M-Instruct共有 tensorboard · transformers.js · onnx | 221,273 | 244 | 362M | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。