开发者 AI 技能与智能体

MusicGen Small

facebook · 工具包

根据文字描述或音频提示生成短音乐片段，是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。

VibeVoice-1.5B

microsoft · 工具包

把书面对话变成最多四位说话人、约 90 分钟的语音，是微软开放的文字转语音模型，适合研究英语和中文的播客式对话。

MiMo-V2.6-Pro-MOPD

XiaomiMiMo · 工具包

用 1T 参数的混合专家模型处理文本、图像、视频和音频，并经过调教，在智能体工作中更少重复调用工具。适合能托管超大模型的团队。

Wan2.2-S2V-14B

Wan-AI · 工具包

根据音频生成电影感的角色视频，也能给现有视频做口型同步。适合有大显卡的视频创作者、动画师和研究人员。

AuK

tencent · 工具包

腾讯的 1.5B 语音模型，可以根据文本生成语音、编辑录音，还能做音频增强和声源分离，全部通过自然语言指令完成。

MSST-WebUI

Sucial · 工具包

在浏览器页面里运行音乐音源分离模型，支持 UVR，带预设处理流程和额外工具。适合分离自己拥有的录音的制作人和音频研究人员。

spkrec-ecapa-voxceleb

speechbrain · 工具包

用 SpeechBrain 里的 ECAPA-TDNN 模型判断两段录音是否来自同一个说话人，也可以输出说话人嵌入。适合开发者和语音研究人员。

MAGI-2 Preview

sand-ai · 工具包

大型音视频生成模型，可根据文字提示词，或提示词加一张静态图，生成带声音的 10 秒视频，并提升到 1080p。适合拥有八块 Hopper GPU 服务器的研究者。

Chatterbox-Flash

ResembleAI · 工具包

一个零样本英语文字转语音模型，能从简短参考片段复制声音，并按块低延迟流式输出音频。适合开发语音助手和旁白工具的开发者。

IndiCodec

prakharkhatri · 工具包

把语音变成两路紧凑的词元，再还原成 24 kHz 音频，码率 1.09 kbps，重点支持英语和十种印度语言。适合语音研究人员和文字转语音的开发者。

HolosTTS

patriotyk · 工具包

把乌克兰语音素转成语音，可用预设声音或从音频样本克隆的声音，输出流式 24 kHz 单声道音频。适合在 PyTorch、ONNX Runtime、MLX 或 Android 上添加乌克兰语语音的开发者。

MOSS-TTS

OpenMOSS-Team · 工具包

用八种语言朗读文字，支持零样本声音克隆、长篇语音，并可控制发音和时长。适合音频制作人和开发语音功能的开发者。

MOSS-Music-8B-Instruct

OpenMOSS-Team · 工具包

听一首歌并回答有关它的问题：带时间戳的歌词、情绪和曲风、调、速度与和弦，以及歌曲结构。适合处理音乐音频的开发者和研究人员。

YuE2 Particle Sliders v2

ntc-ai · 工具包

为 YuE2-3B 的音频生成加上 16 个滑块，调整声音和曲风，适合想用一个提示词塑造英文文本转音频效果的人。

Phi-4-multimodal-instruct

microsoft · 工具包

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

LongCat-AudioDiT-3.5B

meituan-longcat · 工具包

用直接在波形潜空间里工作的扩散模型，把中文或英文文本变成语音，还能用你有权使用的参考样本克隆声音。

SPEAR XLarge v2

marcoyang · 工具包

把 16 kHz 的语音和通用音频转成每帧 1280 个数字的特征，是约 6 亿参数的预训练 Zipformer 编码器。适合为语音识别或音频标注做微调的研究者。

Gemma 4 12B IT (LiteRT-LM)

litert-community · 工具包

在你自己的桌面上运行 Gemma 4 12B，支持文本、图像和音频输入，不需要联网。这是 LiteRT-LM 版本，适合想在 Windows、macOS 或 Linux 上私密地本地生成的开发者。

MMAudio_safetensors

Kijai · 工具包

提供 safetensors 格式的 MMAudio 模型，配合 Kijai 的 ComfyUI-MMAudio 节点为视频生成声音。适合处理音频和视频的 ComfyUI 用户。

FireRedVAD

FireRedTeam · 工具包

检测音频中的语音、歌声和音乐，提供流式和文件式语音活动检测以及音频事件检测。适合在转写前对音频做分段或清理的语音开发者。

Wav2Vec2-Base-960h

facebook · 工具包

把采样率为 16 kHz 的英语语音音频转成文字。这是在 960 小时 Librispeech 上微调过的 wav2vec 2.0 基础模型，适合需要转写基线的开发者和研究者。

ARK-ASR-3B

Edge0 · 工具包

用 Whisper 风格的音频编码器加 Qwen 解码器，把多种语言的语音转成文字。适合需要多语言转写的开发者和研究者，卡里给出了英文和中文的结果。

Distil-Whisper distil-large-v3

distil-whisper · 工具包

把英语语音转成文字，速度约为 Whisper large-v3 的 6.3 倍，长音频上的准确率仍很接近。适合需要转写录音的开发者和团队。

Wan 2.1 for ComfyUI

Comfy-Org · 工具包

为 ComfyUI 重新打包的 Wan 2.1 视频模型文件，涵盖文生视频、图生视频、VACE 编辑、镜头控制、透明通道视频和音频驱动配音，并附带现成的工作流。

MiniMax Music 3

Comfy-Org · 工具包

为 ComfyUI 重新打包的 MiniMax Music 3 模型文件，附带 Text to Music 工作流，可根据文字提示词生成音频。适合用 ComfyUI 生成音乐的用户。

Anuvani-LID

CIIL · 工具包

识别音频片段里说的是印度 22 种官方语言还是印度英语，并给出校准过的分数。适合构建多语言语音流水线的开发者。

EMA Lightning

canberkkkkkk · 工具包

一个很小的土耳其语文字转语音模型，8.6M 参数，约 34 MB，可在 GPU 或 CPU 上离线运行，并能边生成边输出音频。适合需要土耳其语语音输出的开发者。

Ming 3.0 TTS 0.5B GGUF

audio-cpp · 工具包

为 audio.cpp 运行时打包的 Ming 3.0 TTS 0.5B GGUF：文字转语音、声音克隆和声音设计，支持七种语言，输出单声道 44.1 kHz，不需要 Python 运行环境。适合开发者。

DuplexJev-4B-Para

adventists-ai · 工具包

接收语音和文字，用文字作答，并判断说话的人是否已经说完。适合想要小型音频模型的语音智能体开发者，它还能识别情绪和重音。

Smaug-Decisions

abacusai · 工具包

针对音频、图像或文本的提问，一次前向传播就给出每个选项的概率，不生成文字。这是从 Gemma 4 E4B-it 微调而来的 4B 决策模型。

VieGem-ASR

5CD-AI · 工具包

转写越南语以及越南语和英语混合的语音，可离线处理，也可按 0.48 秒的块流式处理，使用基于 Google EmbeddingGemma 2 音频编码器的 359M 参数模型。仅限非商业使用。

faster-whisper-small

Systran · 工具包

转换成 CTranslate2 格式的 Whisper small，供 faster-whisper 转写音频。适合想在 Python 里本地做语音转文字的开发者。

YuE2-GGUF

Serveurperso · 工具包

yue2.cpp 的预量化 GGUF 文件，yue2.cpp 是一个 C++ 歌曲生成器，把风格标签和歌词变成立体声音频，并附上它写出的乐谱。适合想在自己电脑上运行的音乐人和爱好者。

Haas-ja-v1.0-GGUF

sakasegawa · 工具包

日语语音识别模型的 GGUF 文件，只能在 speech.cpp 中运行，支持 macOS、Windows、Linux，也可只用 CPU。适合在自己电脑上转写日语音频的人。

turn-1-mini

p99lab · 工具包

只凭音频，在 CPU 上实时检测说话人何时说完、别人何时插话。适合语音智能体和通话工具的开发者。

whisper-persian-v4

nezamisafa · 工具包

把波斯语语音转成文字。它是在波斯语数据集上微调的 Whisper large v3，适合转写波斯语音频的开发者和团队。

YuE2-hum-to-song

Mothersuperior · 工具包

把 10 到 30 秒的哼唱旋律，加上风格描述和歌词，变成一首跟随你旋律的完整歌曲。这是 YuE2-3B 音乐模型的扩展，适合词曲创作者和音频研究人员。

Pocket TTS

kyutai · 工具包

Kyutai 的 100M 参数文字转语音模型，在 CPU 上运行，支持六种语言，流式输出音频，首个音频块约 200 毫秒，可用 Python 或命令行。

phonon-31m English for audio.cpp

gradium · 工具包

在 CPU 上用 31M 的文字转语音模型朗读英语文本，提供 GGUF 格式，供 audio.cpp 运行时使用。适合想要小型本地语音模型的开发者。

Hy-Nomas x LTX-2.5 Audio Workflows

BennyDaBall · 工具包

两个 ComfyUI 工作流，用标准的 LTX-2.5 蒸馏模型为无声的 Hy-Nomas 视频世界或任意视频片段配上音轨，画面保持不变。

whisperkit-coreml

argmaxinc · 工具包

收录 WhisperKit 使用的 Core ML 语音识别模型，在 Apple Silicon 上无需服务器就能把音频转成文字。适合想让转写留在设备上的 Apple 应用开发者。

Inkling-Small-NVFP4

thinkingmachines · 工具包

Inkling-Small 的 NVFP4 版本，一个多模态混合专家模型，接收文本、图像和音频并输出文本。适合构建智能体、编程助手和其他 AI 应用的开发者。

wespeaker-voxceleb-resnet34-LM

pyannote · 工具包

用 pyannote.audio 对 WeSpeaker ResNet34 模型的封装，把一段语音转成说话人嵌入向量，用来比较两个说话人有多像。适合语音和音频开发者。

Pipecat backchannel detector

pipecat-ai · 工具包

在语音机器人说话时听用户，区分一句简短的 "mm-hmm" 和真正的打断，让机器人继续说或停下。这是一个给语音智能体开发者用的微型流式音频模型。

Kokoro-82M-v1.0-ONNX

onnx-community · 工具包

用 Kokoro 把英文文本转成语音，这是一个 8200 万参数、打包成 ONNX 文件的文字转语音模型，可在 JavaScript 和 Python 中使用。适合想在应用里加一个小型本地语音的开发者。

Mimi

kyutai · 工具包

Kyutai 推出的神经音频编解码器，把语音压缩成紧凑的音频令牌，再解码还原。适合构建语音语言模型或文字转语音系统的研究者和开发者。

FireRedLID

FireRedTeam · 工具包

识别音频片段里说的是哪种语言，覆盖 100 多种语言和 20 多种中文方言和口音。它是 FireRedASR2S 的语种识别模块，面向语音开发者。

VoxLock

arbazsiddiqui · 工具包

在通话音频送入语音转文字之前，保留来电者的声音，去掉其他人的声音。这是一个 27.3M 参数的开源模型，可在 CPU 上流式运行，并为 Pipecat 和 LiveKit 语音智能体提供过滤器。

Jev-Omni

akhilaaa3 · 工具包

针对文字、图像、音频或视频提出的问题，对你列出的每个选项给出概率，而不是写一段解释。这是基于 Gemma 4 的 12B 分类器，适合需要带分数决策的开发者。

MiMo-V2.6-Flash-RL

XiaomiMiMo · 工具包

在同一个模型里处理文本、图像、视频和音频输入，上下文长达 1M token，适合长代码库和智能体运行。这是 XiaomiMiMo 推出的 311B 开放混合专家模型。

embeddinggemma-2-740m-litert-lm

litert-community · 工具包

为 LiteRT-LM 设备端运行打包的 740M 多模态 EmbeddingGemma 2。它把文字、代码、图片、视频和音频映射到同一个 768 维向量空间。

Kandinsky S2V 1.0 Lite

kandinskylab · 工具包

把一张参考图和一段语音录音变成会说话的头像视频，整个人物都会跟着音频动起来。适合有高性能 GPU 的研究者和开发者。只能使用你有权使用的人脸和声音。

Realtime-Venus

inclusionAI · 工具包

包含两个 9B 模型，用于实时对话，能边听边说，处理打断，并把任务交给外部工具。一个能看视频和听音频，另一个只处理音频。

Ming-3.0-audio-flash

inclusionAI · 工具包

接收音频和文字指令，返回文字，或带合成语音的文字。涵盖中英文的语音识别、语音问答和音频推理。适合拥有大型 GPU 的开发者。

ZeroTTS

zeroweight-ai · 工具包

在笔记本 CPU 上实时朗读越南语文本，支持流式输出，并能用几秒钟的参考音频克隆声音。适合为应用和媒体加入越南语语音的开发者。

CLAP2-L

laion · 工具包

LAION 的 340M 参数音频文本模型，把声音和英文文本放进同一个嵌入空间，用于零样本音频分类、音频文本检索和通用音频嵌入。

gemma-4-12B-it

google · 工具包

接收文字、图片和音频并输出文字回答，是 Google DeepMind 的 12B 指令微调模型，上下文 256K 词元，思考模式可配置。适合在本地运行开放模型的开发者。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

LongCat-Next

meituan-longcat · 工具包

把文字、图像和音频作为离散 token 统一处理的原生多模态模型，参数 74.3B。适合构建能看、能听、能生成内容的应用的研究人员和开发者。

gemma-4-E2B

google · 工具包

处理文本、图片和音频输入并输出文本，是为笔记本和手机设计的小型 Gemma 4 模型。来自 Google DeepMind，有效参数 2.3B，上下文 128K。

MiniCPM-o 4.5

openbmb · 工具包

一个 9B 模型就能处理图片、视频、语音和实时音视频流，并用英文和中文以文字和语音回答。适合构建语音和视觉助手的开发者。

AADD

gertelrina · 工具包

每 20 毫秒检测语音录音中的 12 种音频劣化，比如噪声、混响、削波和编解码伪影。适合清理语音数据集和审查录音。

ACE-Step 1.5

ACE-Step · 工具包

根据文字描述生成完整歌曲，由规划歌词和结构的语言模型，加上渲染音频的扩散 Transformer 组成。设计上可在消费级硬件上运行。

Nemotron 3 Diarization

nvidia · 工具包

找出录音里谁在什么时候说话，最多支持八位说话人，可流式或离线运行，还能为转写文本加上说话人标签。适合处理会议、通话和媒体音频的人。

Inkling

thinkingmachines · 工具包

读取文字、图片和音频并写出文字，是一个庞大的开放多模态模型，适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。

gemma-4-E4B-it

google · 工具包

接收文字、图像和音频输入并输出文字，上下文 128K token，支持 140 多种语言。这是 Google DeepMind 的小型指令微调 Gemma 4 模型，为在笔记本和手机上运行而设计。

Maya 2 Native

maya-research · 工具包

用 24 kHz 音频朗读 11 种印度语言和英语的文字，边生成边流式输出，带 20 个内置声音和跨语言声音克隆。这是一个可以自己托管的开放 2.5B 文字转语音模型。

gemma-4-E2B-it

google · 工具包

接收文字、图像和音频输入并输出文字，上下文 128K token，支持 140 多种语言。这是 Google DeepMind 最小的指令微调 Gemma 4 模型，为手机和笔记本而设计。

MiMo-V2.6-Pro-RL

XiaomiMiMo · 工具包

在一个 1.02T 参数、1M 词元上下文的模型里同时处理文字、图像、视频和音频。它是小米 MiMo-V2.6 系列的旗舰，用大规模强化学习训练，面向编程和智能体工作。

whisper-large-v3-turbo

openai · 工具包

OpenAI 的更快的 Whisper 模型，用于语音识别和语音翻译，有 809M 参数，解码层只有 4 层。适合开发者和需要转写音频的人。

gemma-4-E4B

google · 工具包

Google DeepMind 的 Gemma 4 系列中的 E4B 模型，一个能读文字、图片和音频并输出文字的开放模型，面向笔记本和手机运行而设计。

gemma-4-12B

google · 工具包

Google 的 Gemma 4 12B Unified 模型，是能读文字、图片、音频和视频并输出文字的开放模型，上下文 256K，不需要单独的编码器。适合运行本地 AI 的开发者。

Inkling-Small

thinkingmachines · 工具包

读取文字、图像和音频并用文字回答，面向开发助手、编程工具和智能体的开发者。这是稀疏混合专家模型，总参数 276B，每个词元激活 12B。

phonon-31m-en

gradium · 工具包

小型英文文字转语音模型，流式输出自然的 24 kHz 音频，可在笔记本 CPU、手机或浏览器标签页里运行。适合想在设备上出声的开发者。

NVIDIA NemotronLabs RE-USE

nvidia · 工具包

用 NVIDIA 推出的 9.6M 参数小模型，清理任何语言里有噪声或受损的语音录音，适合需要更清晰人声的音频和语音开发者。

embeddinggemma-2

google · 工具包

Google DeepMind 的开源嵌入模型，把文字、代码、图片、视频和音频放进同一个 768 维向量空间，可在笔记本和手机上运行。适合构建搜索和检索的开发者。

ASR Ukrainian

arampacha · 工具包

一个 Gradio 应用，用 wav2vec2 XLS-R 检查点把乌克兰语语音转成文字。适合想在浏览器里转写乌克兰语音频的人。

Hindi_ASR

anuragshas · 工具包

一个 Gradio 应用，用 anuragshas 的 wav2vec2 XLS-R 模型把印地语语音转成文字。适合想在浏览器里转写印地语音频的人。

Whisper Audio

yudarahma · 工具包

在浏览器或你自己的电脑上运行一个 Gradio 应用，名称和 README 标题把它和 Whisper 与音频联系在一起。README 只有一个标题，所以应用做什么只能推测。

DiffVox

yoyolicoris · 工具包

在浏览器或你自己的电脑上运行一个带有示例音频文件、绘图辅助脚本和两张示意图的 Gradio 应用。README 没有说明用途，所以它做什么只能从名称推测。

OuteTTS WebGPU

webml-community · 工具包

在浏览器里把你输入的文字变成语音，通过 Transformers.js 在 WebGPU 上运行 OuteTTS 语音模型，适合开发者和对浏览器端语音感兴趣的人。

Kannada TTS - Kokoro-82M

Sammy-Mohan · 工具包

一个卡纳达语文字转语音模型的静态展示页，这个模型是 82M 的 Kokoro 模型的微调版本，带有可在浏览器里播放的音频样本。可在线打开，也可从本地副本打开。

Gradio Lipsync Wav2lip

manavisrani07 · 工具包

在 Gradio 页面里运行 Wav2Lip 口型同步，把嘴部动作和语音音频对上，适合试验视频和语音工具的人。

WaveGen

LeeSangHoon · 工具包

根据一段参考录音、它的准确文字稿和要朗读的文字，生成英语或普通话语音。在 ZeroGPU 上提供 WaveGen V-Spec 和 WaveGen-Flash 两个模型，输出 24 kHz 音频。

FASTDIAR

herimor · 工具包

在音频文件或麦克风实时流播放的同时标注谁在说话，延迟约一秒。适合做说话人分离的语音开发者和研究者的演示。

MuseTalk 1.5

henrybit · 工具包

用参考图片或视频加一段驱动音频生成口型同步的视频，并提供嘴部区域的测试步骤。是给做说话人脸的人用的 Gradio 演示。

Audioldm Text To Audio Generation

dimaiklov · 工具包

在 Gradio 页面里，用 AudioLDM 模型把一段文字描述变成音频片段。适合想试用文字生成音频、又不想自己配置模型的创作者和开发者。

Crystal Audio Cleaner

devenramanuj1 · 工具包

一个 Gradio 应用，名字指向清理音频，在 ZeroGPU 硬件上运行。README 没有任何描述，所以请直接看页面了解它能做什么。

SplitSafe - Audio ML Leakage Auditor

boobalanit · 工具包

用不需要 GPU 的音频指纹，检查音频数据集的训练、验证和测试划分里有没有泄漏的副本和重复的说话人。适合构建音频机器学习模型的人。

Music Flamingo

nvidia · 工具包

在 Gradio 页面里，用 NVIDIA 的 Music Flamingo 模型处理音乐音频，运行在 Hugging Face 的 ZeroGPU 硬件上。适合处理音频和音乐的研究者和开发者。

LinnetTTS

VoxRT · 工具包

用 LinnetTTS 把文字朗读出来，这是一个小型的设备端文字转语音模型，能流式输出音频，在 CPU 上实时运行。适合开发者，也适合想在浏览器里听听效果的人。

Seed Voice Conversion

Plachta · 工具包

在运行于 ZeroGPU 硬件的 Gradio 页面里，把一个声音的语音转换成另一个声音，基于 Seed-VC。适合想试用声音转换的开发者和音频制作者。

Edge TTS Text To Speech

innoai · 工具包

在一个小型 Gradio 页面里把文字转成语音，可以在浏览器里打开，也可以在自己的电脑上运行。适合想不用安装就快速文字转语音的人。

Scenario Agent Skills

scenario-labs · 技能

用于 AI 智能体生成游戏及创意项目所需的图像、视频、音频和 3D 资产的技能集合。包含与 Blender、Unity、Unreal Engine 及其他专业内容创作工具的集成。

Fish Speech

fishaudio · 工具包

基于大语言模型架构，将文本转换为富有表现力的多语言音频。它为开发语音应用的开发者提供声音克隆、多角色生成及精确的音频编辑功能。

VibeVoice 开源语音模型

microsoft · 工具包

微软的开源语音 AI 模型家族。VibeVoice-ASR 一次转写最长 60 分钟的音频，带说话人和时间戳。VibeVoice-Realtime 把流式文字合成语音。这份说明涵盖演示、vLLM 服务器和微调。