来自 Hugging Face 的 AI 项目

MOSS-VL-Realtime

OpenMOSS-Team · 工具包

能边看实时视频流边回答问题，画面没有新内容时保持沉默。适合做实时视频理解的开发者和研究人员。

MOSS-Video-Preview-Real-Time-SFT

OpenMOSS-Team · 工具包

在视频播放的同时给出评论，逐帧接收画面并低延迟作答。适合用 Python 和 transformers 构建实时视频助手的开发者和研究人员。

SimulS2ST-Omni

HA-SA-ki · 工具包

提供英文和中文之间同声语音到语音翻译的模型文件，基于 OmniTalker。适合想运行或研究 EMNLP 2026 论文系统的研究者和开发者。

FireRedVAD

FireRedTeam · 工具包

检测音频中的语音、歌声和音乐，提供流式和文件式语音活动检测以及音频事件检测。适合在转写前对音频做分段或清理的语音开发者。

VieGem-ASR

5CD-AI · 工具包

转写越南语以及越南语和英语混合的语音，可离线处理，也可按 0.48 秒的块流式处理，使用基于 Google EmbeddingGemma 2 音频编码器的 359M 参数模型。仅限非商业使用。

turn-1-mini

p99lab · 工具包

只凭音频，在 CPU 上实时检测说话人何时说完、别人何时插话。适合语音智能体和通话工具的开发者。

VoiceTut-TTS

mohammedaly22 · 工具包

支持阿拉伯语和英语混说的埃及阿拉伯语文字转语音，含 19 种内置声音、声音克隆和长文本流式输出。适合开发者和创作者，只能使用你有权使用的声音。

Voxtral 4B TTS 2603

mistralai · 工具包

Mistral 推出的开放权重文本转语音模型，提供九种语言的 20 个预设声音，支持流式输出，延迟低。适合构建语音智能体、且能接受非商业许可的开发者。

DeepSeek V4.1 Flash GGUF for DwarfStar

antirez · 工具包

为 Mac 用户提供 DeepSeek V4.1 Flash 经过校准的 2 位和 4 位 GGUF 文件，另有单独的视觉编码器，供 DwarfStar 的 Metal 引擎配合 SSD 流式加载使用。与其他 DeepSeek 权重不通用。

RubatoCodec

third-intelligence · 工具包

把语音压缩成固定数量、长度可变的事件及其时长，并在流式解码时还原。这是面向搭建英语、日语和中文流式文字转语音的神经语音编解码器。

Pipecat backchannel detector

pipecat-ai · 工具包

在语音机器人说话时听用户，区分一句简短的 "mm-hmm" 和真正的打断，让机器人继续说或停下。这是一个给语音智能体开发者用的微型流式音频模型。

Realtime-Venus

inclusionAI · 工具包

包含两个 9B 模型，用于实时对话，能边听边说，处理打断，并把任务交给外部工具。一个能看视频和听音频，另一个只处理音频。

ZeroTTS

zeroweight-ai · 工具包

在笔记本 CPU 上实时朗读越南语文本，支持流式输出，并能用几秒钟的参考音频克隆声音。适合为应用和媒体加入越南语语音的开发者。

VieNeu-TTS v3 Turbo

pnnbao-ump · 工具包

用 48 kHz 朗读越南语和英语，带来自三个地区的 23 个预设声音、即时声音克隆和实时流式输出。这是一个 131M 的小型文字转语音模型，在普通 CPU 上也能运行。

zipformer-asr-turkish-v1

oayk · 工具包

用一个约 2000 万参数的小型流式识别器，把土耳其语语音实时转成文字，在单个 CPU 核心上就能实时运行，适合在边缘设备上做语音功能的开发者。

Mage-VL

microsoft · 工具包

Microsoft 推出的图像和视频多模态模型，像视频编码器存储视频那样读取视频，只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。

Silencio-2

BlueRoseLabs · 工具包

把英文文本转成 24 kHz 语音，支持情绪和声音标签，还能从一小段参考音频复制音色。这是基于 Kyutai 的 Pocket TTS 微调的小型文本转语音模型。

Nemotron 3 Diarization

nvidia · 工具包

找出录音里谁在什么时候说话，最多支持八位说话人，可流式或离线运行，还能为转写文本加上说话人标签。适合处理会议、通话和媒体音频的人。

Maya 2 Native

maya-research · 工具包

用 24 kHz 音频朗读 11 种印度语言和英语的文字，边生成边流式输出，带 20 个内置声音和跨语言声音克隆。这是一个可以自己托管的开放 2.5B 文字转语音模型。

phonon-31m-en

gradium · 工具包

小型英文文字转语音模型，流式输出自然的 24 kHz 音频，可在笔记本 CPU、手机或浏览器标签页里运行。适合想在设备上出声的开发者。