来自 Hugging Face 的 AI 项目

MusicGen Small

facebook · 工具包

根据文字描述或音频提示生成短音乐片段，是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。

ACE-Step 1.5 XL SFT

ACE-Step · 工具包

用 4B 扩散解码器根据文字生成音乐，50 步并带引导控制，音频质量高于基础版。适合拥有 12 GB 或更多显存 GPU 的创作者。

VibeVoice-1.5B

microsoft · 工具包

把书面对话变成最多四位说话人、约 90 分钟的语音，是微软开放的文字转语音模型，适合研究英语和中文的播客式对话。

Licon MSR for LTX-2.5

LiconStudio · 工具包

给模型最多五张参考图，让生成视频中的人物、服装、物体和背景保持一致。这是用于 ComfyUI 中 LTX-2.5 的 LoRA，还可以为两位说话者添加音频参考。

Mega-ASR

zhifeixie · 工具包

转写来自嘈杂、有回声、削波或重叠的录音里的英文和中文语音，并把干净的音频交给基础模型。适合处理困难音频的团队。

MiMo-V2.6-Pro-MOPD

XiaomiMiMo · 工具包

用 1T 参数的混合专家模型处理文本、图像、视频和音频，并经过调教，在智能体工作中更少重复调用工具。适合能托管超大模型的团队。

Wan2.2-S2V-14B

Wan-AI · 工具包

根据音频生成电影感的角色视频，也能给现有视频做口型同步。适合有大显卡的视频创作者、动画师和研究人员。

AuK

tencent · 工具包

腾讯的 1.5B 语音模型，可以根据文本生成语音、编辑录音，还能做音频增强和声源分离，全部通过自然语言指令完成。

MSST-WebUI

Sucial · 工具包

在浏览器页面里运行音乐音源分离模型，支持 UVR，带预设处理流程和额外工具。适合分离自己拥有的录音的制作人和音频研究人员。

spkrec-ecapa-voxceleb

speechbrain · 工具包

用 SpeechBrain 里的 ECAPA-TDNN 模型判断两段录音是否来自同一个说话人，也可以输出说话人嵌入。适合开发者和语音研究人员。

MAGI-2 Preview

sand-ai · 工具包

大型音视频生成模型，可根据文字提示词，或提示词加一张静态图，生成带声音的 10 秒视频，并提升到 1080p。适合拥有八块 Hopper GPU 服务器的研究者。

Chatterbox-Flash

ResembleAI · 工具包

一个零样本英语文字转语音模型，能从简短参考片段复制声音，并按块低延迟流式输出音频。适合开发语音助手和旁白工具的开发者。

MakHam Thai TTS

pythainlp · 工具包

用一个只有 8 MB 的 ONNX 小模型，以女声朗读泰语文本，在单个 CPU 线程上就能运行。适合需要在服务器、边缘设备或浏览器里提供泰语语音的开发者。

Vāgdhenu

prathoshap · 工具包

用一个训练好的声音，以吟诵风格朗读古典梵语诗节，由参考音频决定节奏。适合学习、背诵或需要梵语音频的人。

IndiCodec

prakharkhatri · 工具包

把语音变成两路紧凑的词元，再还原成 24 kHz 音频，码率 1.09 kbps，重点支持英语和十种印度语言。适合语音研究人员和文字转语音的开发者。

DuDE

penguinfish1688 · 工具包

根据 XML 脚本把两个人的对话生成为语音，有轮流发言、附和语和重叠说话，每位说话人一个声音。适合做对话音频的研究人员和开发者，仅限非商业使用。

HolosTTS

patriotyk · 工具包

把乌克兰语音素转成语音，可用预设声音或从音频样本克隆的声音，输出流式 24 kHz 单声道音频。适合在 PyTorch、ONNX Runtime、MLX 或 Android 上添加乌克兰语语音的开发者。

MOSS-TTS

OpenMOSS-Team · 工具包

用八种语言朗读文字，支持零样本声音克隆、长篇语音，并可控制发音和时长。适合音频制作人和开发语音功能的开发者。

MOSS-Music-8B-Instruct

OpenMOSS-Team · 工具包

听一首歌并回答有关它的问题：带时间戳的歌词、情绪和曲风、调、速度与和弦，以及歌曲结构。适合处理音乐音频的开发者和研究人员。

Parakeet RNNT 1.1B

nvidia · 工具包

把英文语音转写成小写文本。由 NVIDIA NeMo 和 Suno.ai 团队开发的 1.1B FastConformer Transducer 模型，适合给应用加入语音识别的开发者。

YuE2 Particle Sliders v2

ntc-ai · 工具包

为 YuE2-3B 的音频生成加上 16 个滑块，调整声音和曲风，适合想用一个提示词塑造英文文本转音频效果的人。

Qwen2-Audio-7B-GGUF

NexaAI · 工具包

在本地运行 Qwen2-Audio，用语音聊天并分析音频，包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本，适合想在自己设备上用音频 AI 的人。

Phi-4-multimodal-instruct

microsoft · 工具包

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

LongCat-AudioDiT-3.5B

meituan-longcat · 工具包

用直接在波形潜空间里工作的扩散模型，把中文或英文文本变成语音，还能用你有权使用的参考样本克隆声音。

SPEAR XLarge v2

marcoyang · 工具包

把 16 kHz 的语音和通用音频转成每帧 1280 个数字的特征，是约 6 亿参数的预训练 Zipformer 编码器。适合为语音识别或音频标注做微调的研究者。

Gemma 4 12B IT (LiteRT-LM)

litert-community · 工具包

在你自己的桌面上运行 Gemma 4 12B，支持文本、图像和音频输入，不需要联网。这是 LiteRT-LM 版本，适合想在 Windows、macOS 或 Linux 上私密地本地生成的开发者。

MMAudio_safetensors

Kijai · 工具包

提供 safetensors 格式的 MMAudio 模型，配合 Kijai 的 ComfyUI-MMAudio 节点为视频生成声音。适合处理音频和视频的 ComfyUI 用户。

LongCap-35B-A3B-FP8

JinchuanTian · 工具包

把最长约两小时的录音变成带起止时间的语音、音乐和声音事件时间线，也能转写语音并标出说话人。FP8 权重，适合单张 H100 80GB 显卡。

Ming-3.0-tts-tiny

inclusionAI · 工具包

inclusionAI 的多语言文字转语音模型，可根据短音频克隆声音，也能按描述设计声音，并控制情绪、语速和方言。推理需要它的 GitHub 项目。

Ming-3.0-audio-tiny

inclusionAI · 工具包

听音频并按文字指令用文字作答，还可选择语音回复。这是 inclusionAI 的紧凑音频语言模型，适合做中英文语音识别、语音提问和音频理解。

Applio

IAHispano · 工具包

带浏览器界面的语音转换工具，注重易用和音质，支持插件。适合只转换自己有权使用的音频的艺术家、开发者和研究人员。

MOSS-Transcribe-Diarize 0.9B

hf-audio · 工具包

一次处理就能转写多说话人的长录音，并加上时间戳和匿名说话人标签，支持 50 多种语言。适合把会议、电话、播客和讲座变成易读文字稿的团队。

MuLaCover

HeartMuLa · 工具包

根据参考曲目、歌词和风格提示词，或根据旋律与和弦 MIDI，生成翻唱歌曲和音乐混音，输出 WAV 文件。适合在 CUDA 机器上做非商业音乐项目。

FireRedVAD

FireRedTeam · 工具包

检测音频中的语音、歌声和音乐，提供流式和文件式语音活动检测以及音频事件检测。适合在转写前对音频做分段或清理的语音开发者。

Wav2Vec2-Base-960h

facebook · 工具包

把采样率为 16 kHz 的英语语音音频转成文字。这是在 960 小时 Librispeech 上微调过的 wav2vec 2.0 基础模型，适合需要转写基线的开发者和研究者。

TRIBE v2

facebook · 工具包

用一个映射到大脑皮层表面的多模态 Transformer，估计大脑对视频、音频和文本的 fMRI 反应。适合神经科学和 AI 研究者。

ARK-ASR-3B

Edge0 · 工具包

用 Whisper 风格的音频编码器加 Qwen 解码器，把多种语言的语音转成文字。适合需要多语言转写的开发者和研究者，卡里给出了英文和中文的结果。

Distil-Whisper distil-large-v3

distil-whisper · 工具包

把英语语音转成文字，速度约为 Whisper large-v3 的 6.3 倍，长音频上的准确率仍很接近。适合需要转写录音的开发者和团队。

MOSS-Transcribe-Diarize-GGUF

cstr · 工具包

一次性把音频转成带时间戳和说话人标签的文字稿。这是一个 0.9B 模型的 GGUF 转换版，供 CrispASR 使用，适合想在自己电脑上生成会议或访谈文字稿的人。

Wan 2.1 for ComfyUI

Comfy-Org · 工具包

为 ComfyUI 重新打包的 Wan 2.1 视频模型文件，涵盖文生视频、图生视频、VACE 编辑、镜头控制、透明通道视频和音频驱动配音，并附带现成的工作流。

MiniMax Music 3

Comfy-Org · 工具包

为 ComfyUI 重新打包的 MiniMax Music 3 模型文件，附带 Text to Music 工作流，可根据文字提示词生成音频。适合用 ComfyUI 生成音乐的用户。

Anuvani-LID

CIIL · 工具包

识别音频片段里说的是印度 22 种官方语言还是印度英语，并给出校准过的分数。适合构建多语言语音流水线的开发者。

EMA Lightning

canberkkkkkk · 工具包

一个很小的土耳其语文字转语音模型，8.6M 参数，约 34 MB，可在 GPU 或 CPU 上离线运行，并能边生成边输出音频。适合需要土耳其语语音输出的开发者。

Mel-Band RoFormer Deux

becruily · 工具包

becruily 的双 Mel-Band RoFormer 模型，把歌曲拆成人声和伴奏，并列出各自的 SDR 得分。适合非商业的音频工作。

Ming 3.0 TTS 0.5B GGUF

audio-cpp · 工具包

为 audio.cpp 运行时打包的 Ming 3.0 TTS 0.5B GGUF：文字转语音、声音克隆和声音设计，支持七种语言，输出单声道 44.1 kHz，不需要 Python 运行环境。适合开发者。

DuplexJev-4B-Para

adventists-ai · 工具包

接收语音和文字，用文字作答，并判断说话的人是否已经说完。适合想要小型音频模型的语音智能体开发者，它还能识别情绪和重音。

Smaug-Decisions

abacusai · 工具包

针对音频、图像或文本的提问，一次前向传播就给出每个选项的概率，不生成文字。这是从 Gemma 4 E4B-it 微调而来的 4B 决策模型。

VieGem-ASR

5CD-AI · 工具包

转写越南语以及越南语和英语混合的语音，可离线处理，也可按 0.48 秒的块流式处理，使用基于 Google EmbeddingGemma 2 音频编码器的 359M 参数模型。仅限非商业使用。

DaFeiYu RVC v2 40k

YukiKaze1337 · 工具包

把录好的说话或歌声转换成大肥鱼的音色，是带音高引导的 40k RVC v2 模型。需要配合 RVC 推理工具使用，适用于个人非商业项目。

MiMo-V2.5-ASR

XiaomiMiMo · 工具包

转写普通话、英语和粤语的语音，包括中文方言、中英夹杂、歌词、嘈杂音频和多人会议，并自动加标点。适合需要语音转文字的团队。