Realtime-Venus

Realtime-Venus

包含两个 9B 模型，用于实时对话，能边听边说，处理打断，并把任务交给外部工具。一个能看视频和听音频，另一个只处理音频。

由 inclusionAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Realtime-Venus 是一个实时对话系统，模型说话时仍在继续倾听，还能把任务交给外部工具而不打断对话。这个仓库包含两个 9B 检查点。Realtime-Venus-Omni 既看又听，Realtime-Venus-Audio 处理音频和文字。两者都能用文字或语音回答。

适合谁：它适合开发语音或摄像头助手的开发者和研究者，这类助手需要应付打断，并按自己的时机行动。

行业 | 谁在用 | 怎么用 | 例子
语音助手 | 构建语音助手的团队 | 用 Audio 检查点做对话 | 让用户在回复中途插话并改变请求
视频助手 | 构建能看视频流的助手的团队 | 用 Omni 检查点来看和听 | 视频里出现值得说的事时，让它主动开口
对话研究 | 研究全双工对话的研究者 | 在同一条共享时间线上研究委托 | 测试后端结果如何在不打断对话的情况下到达

如果你只需要一个普通的文字聊天模型，可以略过它。

用在哪里：

• 使用 transformers 库并配合各文件夹里自定义代码的 Python 项目
• 需要文字或语音回复的音频助手
• 需要音频和视觉输入的摄像头或视频助手
• 模型卡链接的 GitHub 仓库和 ModelScope 页面
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
语音对话 | 语音应用团队 | 能处理打断、纠正和附和的回复
主动观察 | 视频应用团队 | 一个无需提示就能决定何时回应的模型
长视频回忆 | 研究者 | 从长视频的早期片段中提取的证据

如何设置：
你需要先准备：

• Python 和 Hugging Face 命令行
• 一块能放下 BF16 的 9B 模型的 GPU
• 如果想让委托的任务真正运行，还需要项目 GitHub 仓库里的运行时

1. 用 pip 安装 Hugging Face 工具。
2. 下载仓库，它包含两个检查点文件夹。
3. 视频、音频和文字用 Omni 文件夹，音频和文字用 Audio 文件夹。
4. 按模型卡和 GitHub 仓库获取使用代码。

pip install -U huggingface_hub
hf download inclusionAI/Realtime-Venus

如何使用：
模型卡可见的文字里没有运行命令，所以请选择适合你输入的文件夹，并按它的使用说明来做。模型说话时仍在持续感知，它可以发出流内的委托请求，由单独的运行时去执行。

工具 | 作用
Realtime-Venus-Omni | 9B 的音视频模型，能看、能听，并决定何时开口
Realtime-Venus-Audio | 面向音频理解和对话的音频检查点
Token2wav resources | 用参考声音把生成的语音 token 转成音频

示例：你和 Audio 检查点对话，回复到一半时打断它来纠正自己。模型卡说它能把打断和纠正同单纯的附和区分开，所以它能接受你的纠正并继续。

新手与专家：第一次尝试可以用 Audio 检查点，因为它只需要声音和文字。试着在它回复时插话，看看它怎么反应。

对懂行的人来说，Omni 改编自 MiniCPM-o 4.5，带有 SigLIP2 视觉编码器、Whisper-Medium 音频编码器和 Qwen3-8B 语言骨干。语音来自离散的 S3 语音 token，经流式 flow-matching 解码器生成。委托请求和它们的结果与对话共用同一条因果时间线。不足之处是执行这些请求需要单独的运行时。

音频和视频流入
模型决定是否以及何时回应
文字和语音在同一条时间线上输出
委托请求发给运行时
结果在同一个流里返回

注意事项：

项目 | Omni | Audio
参数量 | 9B | 9B
输入 | 视频、图像、音频和文字 | 音频和文字
输出 | 文字和可选的语音 | 文字和语音
上下文长度 | 40,960 tokens | 40,960 tokens
权重类型 | BF16 | BF16

• 记忆：长视频记忆不需要额外训练，它会归档有信息量的时刻，之后用来重建上下文。
• 语言：列出了英语和中文。
• 结果：模型卡让你去看技术报告了解评测数字。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务。
• Data it reaches: 它从 Hugging Face 下载文件，处理你输入的音频和视频，只通过单独的运行时去连接外部工具。
• Not for: 没有那个运行时就运行委托任务。

Hugging Face 上的数据（2026年11月13日）

• 任务：any to any
• 框架：transformers
• Formats: Safetensors
• 最近 30 天下载：2,101
• 点赞：135
• 许可证：apache-2.0
• 语言：en, zh
• Quantized versions: 1
• Fine-tunes: 1
• 标签：transformers, onnx, safetensors, multimodal, audio, video, speech, streaming, full-duplex, long-video, custom-code, any-to-any

链接

• 模型：https://huggingface.co/inclusionAI/Realtime-Venus
• 文件：https://huggingface.co/inclusionAI/Realtime-Venus/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download inclusionAI/Realtime-Venus

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。