浏览 AI 技能、智能体和自动化

YuE2-hum-to-song

Mothersuperior · 工具包

把 10 到 30 秒的哼唱旋律，加上风格描述和歌词，变成一首跟随你旋律的完整歌曲。这是 YuE2-3B 音乐模型的扩展，适合词曲创作者和音频研究人员。

Pocket TTS

kyutai · 工具包

Kyutai 的 100M 参数文字转语音模型，在 CPU 上运行，支持六种语言，流式输出音频，首个音频块约 200 毫秒，可用 Python 或命令行。

phonon-31m English for audio.cpp

gradium · 工具包

在 CPU 上用 31M 的文字转语音模型朗读英语文本，提供 GGUF 格式，供 audio.cpp 运行时使用。适合想要小型本地语音模型的开发者。

Hy-Nomas x LTX-2.5 Audio Workflows

BennyDaBall · 工具包

两个 ComfyUI 工作流，用标准的 LTX-2.5 蒸馏模型为无声的 Hy-Nomas 视频世界或任意视频片段配上音轨，画面保持不变。

whisperkit-coreml

argmaxinc · 工具包

收录 WhisperKit 使用的 Core ML 语音识别模型，在 Apple Silicon 上无需服务器就能把音频转成文字。适合想让转写留在设备上的 Apple 应用开发者。

GigaAM-v3

ai-sage · 工具包

把俄语语音转成文字，有能加标点并规范文本的变体，基于约 230M 参数的 Conformer。适合转录俄语音频（如通话）的开发者和团队。

ACE-Step 1.5 XL Turbo

ACE-Step · 工具包

用 4B 参数的扩散模型只需 8 步就能生成音乐和其他音频，通过 Gradio 界面在本地运行。适合有 12 GB 以上显存 GPU 的创作者和开发者。

Inkling-Small-NVFP4

thinkingmachines · 工具包

Inkling-Small 的 NVFP4 版本，一个多模态混合专家模型，接收文本、图像和音频并输出文本。适合构建智能体、编程助手和其他 AI 应用的开发者。

wespeaker-voxceleb-resnet34-LM

pyannote · 工具包

用 pyannote.audio 对 WeSpeaker ResNet34 模型的封装，把一段语音转成说话人嵌入向量，用来比较两个说话人有多像。适合语音和音频开发者。

Pipecat backchannel detector

pipecat-ai · 工具包

在语音机器人说话时听用户，区分一句简短的 "mm-hmm" 和真正的打断，让机器人继续说或停下。这是一个给语音智能体开发者用的微型流式音频模型。

Kokoro-82M-v1.0-ONNX

onnx-community · 工具包

用 Kokoro 把英文文本转成语音，这是一个 8200 万参数、打包成 ONNX 文件的文字转语音模型，可在 JavaScript 和 Python 中使用。适合想在应用里加一个小型本地语音的开发者。

Mimi

kyutai · 工具包

Kyutai 推出的神经音频编解码器，把语音压缩成紧凑的音频令牌，再解码还原。适合构建语音语言模型或文字转语音系统的研究者和开发者。

granite-speech-5.0-2b

ibm-granite · 工具包

把六种语言的语音转成文字，并在英语与其他语言之间翻译语音，支持关键词偏置和语言提示。这是 IBM 面向企业音频的紧凑 2B 语音语言模型。

FireRedLID

FireRedTeam · 工具包

识别音频片段里说的是哪种语言，覆盖 100 多种语言和 20 多种中文方言和口音。它是 FireRedASR2S 的语种识别模块，面向语音开发者。

VoxLock

arbazsiddiqui · 工具包

在通话音频送入语音转文字之前，保留来电者的声音，去掉其他人的声音。这是一个 27.3M 参数的开源模型，可在 CPU 上流式运行，并为 Pipecat 和 LiveKit 语音智能体提供过滤器。

faster-whisper-large-v3

Systran · 工具包

把音频文件里的语音转成带时间戳的文字，是为 CTranslate2 和 faster-whisper 转换的 OpenAI Whisper large-v3。适合在自己机器上转写多语言录音的开发者。

Jev-Omni

akhilaaa3 · 工具包

针对文字、图像、音频或视频提出的问题，对你列出的每个选项给出概率，而不是写一段解释。这是基于 Gemma 4 的 12B 分类器，适合需要带分数决策的开发者。

MiMo-V2.6-Flash-RL

XiaomiMiMo · 工具包

在同一个模型里处理文本、图像、视频和音频输入，上下文长达 1M token，适合长代码库和智能体运行。这是 XiaomiMiMo 推出的 311B 开放混合专家模型。

English_audio_transcriptor

Sakil · 工具包

在 Gradio 页面里用 wav2vec2 base 模型把英语语音转成文字，带有四段示例对白音频。适合学生、开发者，以及需要快速文字稿的人。

Persian ASR

SajjadAyoubi · 工具包

在 Gradio 页面里用 wav2vec2 语音模型把波斯语语音转成文字。适合学生、开发者，以及需要波斯语音频文字稿的人。

ESPNet2 ASR Librispeech word vs bpe tokens

jkang · 工具包

在 Gradio 页面里比较同一套 ESPnet2 Conformer 方案的三个英语语音识别模型，分别用 bpe、字符和词单位，附带示例音频，适合语音研究人员和学生。

ESPNet2 ASR Librispeech Conformer (100h)

jkang · 工具包

在 Gradio 页面里用在 100 小时 Librispeech 上训练的 ESPnet2 Conformer 模型把英语语音转成文字，附带示例音频，适合语音研究人员和学生。

DeepFilterNet

hshr · 工具包

在 Gradio 页面里用 DeepFilterNet 去掉语音音频里的背景噪声，附带示例片段，适合想整理语音录音的人和音频开发者。

Tabla Transcriber

HridayKharpude · 工具包

在 Gradio 页面里用已保存的模型处理塔布拉鼓音频，附带以塔布拉节奏命名的示例录音，适合塔布拉学生和音乐技术爱好者。

embeddinggemma-2-740m-litert-lm

litert-community · 工具包

为 LiteRT-LM 设备端运行打包的 740M 多模态 EmbeddingGemma 2。它把文字、代码、图片、视频和音频映射到同一个 768 维向量空间。

Kandinsky S2V 1.0 Lite

kandinskylab · 工具包

把一张参考图和一段语音录音变成会说话的头像视频，整个人物都会跟着音频动起来。适合有高性能 GPU 的研究者和开发者。只能使用你有权使用的人脸和声音。

Realtime-Venus

inclusionAI · 工具包

包含两个 9B 模型，用于实时对话，能边听边说，处理打断，并把任务交给外部工具。一个能看视频和听音频，另一个只处理音频。

Ming-3.0-audio-flash

inclusionAI · 工具包

接收音频和文字指令，返回文字，或带合成语音的文字。涵盖中英文的语音识别、语音问答和音频推理。适合拥有大型 GPU 的开发者。

ZeroTTS

zeroweight-ai · 工具包

在笔记本 CPU 上实时朗读越南语文本，支持流式输出，并能用几秒钟的参考音频克隆声音。适合为应用和媒体加入越南语语音的开发者。

CLAP2-L

laion · 工具包

LAION 的 340M 参数音频文本模型，把声音和英文文本放进同一个嵌入空间，用于零样本音频分类、音频文本检索和通用音频嵌入。

gemma-4-12B-it

google · 工具包

接收文字、图片和音频并输出文字回答，是 Google DeepMind 的 12B 指令微调模型，上下文 256K 词元，思考模式可配置。适合在本地运行开放模型的开发者。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

LongCat-Next

meituan-longcat · 工具包

把文字、图像和音频作为离散 token 统一处理的原生多模态模型，参数 74.3B。适合构建能看、能听、能生成内容的应用的研究人员和开发者。

gemma-4-E2B

google · 工具包

处理文本、图片和音频输入并输出文本，是为笔记本和手机设计的小型 Gemma 4 模型。来自 Google DeepMind，有效参数 2.3B，上下文 128K。

MiniCPM-o 4.5

openbmb · 工具包

一个 9B 模型就能处理图片、视频、语音和实时音视频流，并用英文和中文以文字和语音回答。适合构建语音和视觉助手的开发者。

AADD

gertelrina · 工具包

每 20 毫秒检测语音录音中的 12 种音频劣化，比如噪声、混响、削波和编解码伪影。适合清理语音数据集和审查录音。

ACE-Step 1.5

ACE-Step · 工具包

根据文字描述生成完整歌曲，由规划歌词和结构的语言模型，加上渲染音频的扩散 Transformer 组成。设计上可在消费级硬件上运行。

Nemotron 3 Diarization

nvidia · 工具包

找出录音里谁在什么时候说话，最多支持八位说话人，可流式或离线运行，还能为转写文本加上说话人标签。适合处理会议、通话和媒体音频的人。

Inkling

thinkingmachines · 工具包

读取文字、图片和音频并写出文字，是一个庞大的开放多模态模型，适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。

gemma-4-E4B-it

google · 工具包

接收文字、图像和音频输入并输出文字，上下文 128K token，支持 140 多种语言。这是 Google DeepMind 的小型指令微调 Gemma 4 模型，为在笔记本和手机上运行而设计。

Maya 2 Native

maya-research · 工具包

用 24 kHz 音频朗读 11 种印度语言和英语的文字，边生成边流式输出，带 20 个内置声音和跨语言声音克隆。这是一个可以自己托管的开放 2.5B 文字转语音模型。

gemma-4-E2B-it

google · 工具包

接收文字、图像和音频输入并输出文字，上下文 128K token，支持 140 多种语言。这是 Google DeepMind 最小的指令微调 Gemma 4 模型，为手机和笔记本而设计。

MiMo-V2.6-Pro-RL

XiaomiMiMo · 工具包

在一个 1.02T 参数、1M 词元上下文的模型里同时处理文字、图像、视频和音频。它是小米 MiMo-V2.6 系列的旗舰，用大规模强化学习训练，面向编程和智能体工作。

whisper-large-v3-turbo

openai · 工具包

OpenAI 的更快的 Whisper 模型，用于语音识别和语音翻译，有 809M 参数，解码层只有 4 层。适合开发者和需要转写音频的人。

gemma-4-E4B

google · 工具包

Google DeepMind 的 Gemma 4 系列中的 E4B 模型，一个能读文字、图片和音频并输出文字的开放模型，面向笔记本和手机运行而设计。

gemma-4-12B

google · 工具包

Google 的 Gemma 4 12B Unified 模型，是能读文字、图片、音频和视频并输出文字的开放模型，上下文 256K，不需要单独的编码器。适合运行本地 AI 的开发者。

Haas-ja-v1.0

third-intelligence · 工具包

用一个注重速度和准确率的 615.8M 语音识别模型把日语语音转成文字。适合在带 NVIDIA GPU 的 Linux 机器上转写日语音频的开发者和团队。

Inkling-Small

thinkingmachines · 工具包

读取文字、图像和音频并用文字回答，面向开发助手、编程工具和智能体的开发者。这是稀疏混合专家模型，总参数 276B，每个词元激活 12B。

phonon-31m-en

gradium · 工具包

小型英文文字转语音模型，流式输出自然的 24 kHz 音频，可在笔记本 CPU、手机或浏览器标签页里运行。适合想在设备上出声的开发者。