开发者 AI 技能与智能体

Kandinsky S2V 1.0 Lite

kandinskylab · 工具包

把一张参考图和一段语音录音变成会说话的头像视频，整个人物都会跟着音频动起来。适合有高性能 GPU 的研究者和开发者。只能使用你有权使用的人脸和声音。

Realtime-Venus

inclusionAI · 工具包

包含两个 9B 模型，用于实时对话，能边听边说，处理打断，并把任务交给外部工具。一个能看视频和听音频，另一个只处理音频。

Ming-3.0-audio-flash

inclusionAI · 工具包

接收音频和文字指令，返回文字，或带合成语音的文字。涵盖中英文的语音识别、语音问答和音频推理。适合拥有大型 GPU 的开发者。

ZeroTTS

zeroweight-ai · 工具包

在笔记本 CPU 上实时朗读越南语文本，支持流式输出，并能用几秒钟的参考音频克隆声音。适合为应用和媒体加入越南语语音的开发者。

CLAP2-L

laion · 工具包

LAION 的 340M 参数音频文本模型，把声音和英文文本放进同一个嵌入空间，用于零样本音频分类、音频文本检索和通用音频嵌入。

gemma-4-12B-it

google · 工具包

接收文字、图片和音频并输出文字回答，是 Google DeepMind 的 12B 指令微调模型，上下文 256K 词元，思考模式可配置。适合在本地运行开放模型的开发者。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

LongCat-Next

meituan-longcat · 工具包

把文字、图像和音频作为离散 token 统一处理的原生多模态模型，参数 74.3B。适合构建能看、能听、能生成内容的应用的研究人员和开发者。

gemma-4-E2B

google · 工具包

处理文本、图片和音频输入并输出文本，是为笔记本和手机设计的小型 Gemma 4 模型。来自 Google DeepMind，有效参数 2.3B，上下文 128K。

MiniCPM-o 4.5

openbmb · 工具包

一个 9B 模型就能处理图片、视频、语音和实时音视频流，并用英文和中文以文字和语音回答。适合构建语音和视觉助手的开发者。

AADD

gertelrina · 工具包

每 20 毫秒检测语音录音中的 12 种音频劣化，比如噪声、混响、削波和编解码伪影。适合清理语音数据集和审查录音。

ACE-Step 1.5

ACE-Step · 工具包

根据文字描述生成完整歌曲，由规划歌词和结构的语言模型，加上渲染音频的扩散 Transformer 组成。设计上可在消费级硬件上运行。

Nemotron 3 Diarization

nvidia · 工具包

找出录音里谁在什么时候说话，最多支持八位说话人，可流式或离线运行，还能为转写文本加上说话人标签。适合处理会议、通话和媒体音频的人。

Inkling

thinkingmachines · 工具包

读取文字、图片和音频并写出文字，是一个庞大的开放多模态模型，适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。

gemma-4-E4B-it

google · 工具包

接收文字、图像和音频输入并输出文字，上下文 128K token，支持 140 多种语言。这是 Google DeepMind 的小型指令微调 Gemma 4 模型，为在笔记本和手机上运行而设计。

Maya 2 Native

maya-research · 工具包

用 24 kHz 音频朗读 11 种印度语言和英语的文字，边生成边流式输出，带 20 个内置声音和跨语言声音克隆。这是一个可以自己托管的开放 2.5B 文字转语音模型。

gemma-4-E2B-it

google · 工具包

接收文字、图像和音频输入并输出文字，上下文 128K token，支持 140 多种语言。这是 Google DeepMind 最小的指令微调 Gemma 4 模型，为手机和笔记本而设计。

MiMo-V2.6-Pro-RL

XiaomiMiMo · 工具包

在一个 1.02T 参数、1M 词元上下文的模型里同时处理文字、图像、视频和音频。它是小米 MiMo-V2.6 系列的旗舰，用大规模强化学习训练，面向编程和智能体工作。

whisper-large-v3-turbo

openai · 工具包

OpenAI 的更快的 Whisper 模型，用于语音识别和语音翻译，有 809M 参数，解码层只有 4 层。适合开发者和需要转写音频的人。

gemma-4-E4B

google · 工具包

Google DeepMind 的 Gemma 4 系列中的 E4B 模型，一个能读文字、图片和音频并输出文字的开放模型，面向笔记本和手机运行而设计。

gemma-4-12B

google · 工具包

Google 的 Gemma 4 12B Unified 模型，是能读文字、图片、音频和视频并输出文字的开放模型，上下文 256K，不需要单独的编码器。适合运行本地 AI 的开发者。

Inkling-Small

thinkingmachines · 工具包

读取文字、图像和音频并用文字回答，面向开发助手、编程工具和智能体的开发者。这是稀疏混合专家模型，总参数 276B，每个词元激活 12B。

phonon-31m-en

gradium · 工具包

小型英文文字转语音模型，流式输出自然的 24 kHz 音频，可在笔记本 CPU、手机或浏览器标签页里运行。适合想在设备上出声的开发者。

NVIDIA NemotronLabs RE-USE

nvidia · 工具包

用 NVIDIA 推出的 9.6M 参数小模型，清理任何语言里有噪声或受损的语音录音，适合需要更清晰人声的音频和语音开发者。

embeddinggemma-2

google · 工具包

Google DeepMind 的开源嵌入模型，把文字、代码、图片、视频和音频放进同一个 768 维向量空间，可在笔记本和手机上运行。适合构建搜索和检索的开发者。

ASR Ukrainian

arampacha · 工具包

一个 Gradio 应用，用 wav2vec2 XLS-R 检查点把乌克兰语语音转成文字。适合想在浏览器里转写乌克兰语音频的人。

Hindi_ASR

anuragshas · 工具包

一个 Gradio 应用，用 anuragshas 的 wav2vec2 XLS-R 模型把印地语语音转成文字。适合想在浏览器里转写印地语音频的人。

Whisper Audio

yudarahma · 工具包

在浏览器或你自己的电脑上运行一个 Gradio 应用，名称和 README 标题把它和 Whisper 与音频联系在一起。README 只有一个标题，所以应用做什么只能推测。

DiffVox

yoyolicoris · 工具包

在浏览器或你自己的电脑上运行一个带有示例音频文件、绘图辅助脚本和两张示意图的 Gradio 应用。README 没有说明用途，所以它做什么只能从名称推测。

OuteTTS WebGPU

webml-community · 工具包

在浏览器里把你输入的文字变成语音，通过 Transformers.js 在 WebGPU 上运行 OuteTTS 语音模型，适合开发者和对浏览器端语音感兴趣的人。

Kannada TTS - Kokoro-82M

Sammy-Mohan · 工具包

一个卡纳达语文字转语音模型的静态展示页，这个模型是 82M 的 Kokoro 模型的微调版本，带有可在浏览器里播放的音频样本。可在线打开，也可从本地副本打开。

Gradio Lipsync Wav2lip

manavisrani07 · 工具包

在 Gradio 页面里运行 Wav2Lip 口型同步，把嘴部动作和语音音频对上，适合试验视频和语音工具的人。

WaveGen

LeeSangHoon · 工具包

根据一段参考录音、它的准确文字稿和要朗读的文字，生成英语或普通话语音。在 ZeroGPU 上提供 WaveGen V-Spec 和 WaveGen-Flash 两个模型，输出 24 kHz 音频。

FASTDIAR

herimor · 工具包

在音频文件或麦克风实时流播放的同时标注谁在说话，延迟约一秒。适合做说话人分离的语音开发者和研究者的演示。

MuseTalk 1.5

henrybit · 工具包

用参考图片或视频加一段驱动音频生成口型同步的视频，并提供嘴部区域的测试步骤。是给做说话人脸的人用的 Gradio 演示。

Audioldm Text To Audio Generation

dimaiklov · 工具包

在 Gradio 页面里，用 AudioLDM 模型把一段文字描述变成音频片段。适合想试用文字生成音频、又不想自己配置模型的创作者和开发者。

Crystal Audio Cleaner

devenramanuj1 · 工具包

一个 Gradio 应用，名字指向清理音频，在 ZeroGPU 硬件上运行。README 没有任何描述，所以请直接看页面了解它能做什么。

SplitSafe - Audio ML Leakage Auditor

boobalanit · 工具包

用不需要 GPU 的音频指纹，检查音频数据集的训练、验证和测试划分里有没有泄漏的副本和重复的说话人。适合构建音频机器学习模型的人。

Music Flamingo

nvidia · 工具包

在 Gradio 页面里，用 NVIDIA 的 Music Flamingo 模型处理音乐音频，运行在 Hugging Face 的 ZeroGPU 硬件上。适合处理音频和音乐的研究者和开发者。

LinnetTTS

VoxRT · 工具包

用 LinnetTTS 把文字朗读出来，这是一个小型的设备端文字转语音模型，能流式输出音频，在 CPU 上实时运行。适合开发者，也适合想在浏览器里听听效果的人。

Seed Voice Conversion

Plachta · 工具包

在运行于 ZeroGPU 硬件的 Gradio 页面里，把一个声音的语音转换成另一个声音，基于 Seed-VC。适合想试用声音转换的开发者和音频制作者。

Edge TTS Text To Speech

innoai · 工具包

在一个小型 Gradio 页面里把文字转成语音，可以在浏览器里打开，也可以在自己的电脑上运行。适合想不用安装就快速文字转语音的人。

Scenario Agent Skills

scenario-labs · 技能

用于 AI 智能体生成游戏及创意项目所需的图像、视频、音频和 3D 资产的技能集合。包含与 Blender、Unity、Unreal Engine 及其他专业内容创作工具的集成。

Fish Speech

fishaudio · 工具包

基于大语言模型架构，将文本转换为富有表现力的多语言音频。它为开发语音应用的开发者提供声音克隆、多角色生成及精确的音频编辑功能。

VibeVoice 开源语音模型

microsoft · 工具包

微软的开源语音 AI 模型家族。VibeVoice-ASR 一次转写最长 60 分钟的音频，带说话人和时间戳。VibeVoice-Realtime 把流式文字合成语音。这份说明涵盖演示、vLLM 服务器和微调。