SimulS2ST-Omni

SimulS2ST-Omni

提供英文和中文之间同声语音到语音翻译的模型文件，基于 OmniTalker。适合想运行或研究 EMNLP 2026 论文系统的研究者和开发者。

由 HA-SA-ki 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：SimulS2ST-Omni 是一套用于英文和中文语音到语音翻译的模型文件，说话人还没说完，输出就可以开始。仓库里包含合并后的 OmniTalker 模型、用于流式场景的适配器，以及它们依赖的音频组件。模型卡称这项工作已被 EMNLP 2026 接收。

适合谁：适合想尝试实时语音翻译，或者想复现论文所述内容的语音研究者和开发者。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语音和翻译研究者 | 运行已发布的权重来研究同声翻译 | 比较离线和流式模式
软件 | 语音应用开发者 | 为英文和中文之间的语音翻译做原型 | 边听边翻译语音的演示
教育 | 语言教师和学生 | 听翻译后的语音来辅助练习 | 听一段短讲被转成另一种语言

如果你想要现成的应用，可以跳过，因为模型卡只列出了文件和路径，没有面向终端用户的程序。

用在哪里：

• 装有 transformers 库的 Python 环境，模型就是按它来标注的
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 你自己的研究或产品代码，按模型卡里的模型路径读取

用例 | 谁用 | 得到什么
离线翻译 | 研究者 | 来自能看到完整输入的模型的翻译语音
流式翻译 | 开发者 | 在原话还在说的时候就生成的翻译语音
组件研究 | 音频工程师 | 可以单独查看的 VoiceBox、Vocos 和 DualCodec 文件

如何设置：先准备好这些。

• 带 pip 的 Python，用来获取 Hugging Face 工具
• 约 19 GB 磁盘空间，这是把模型卡列出的各文件夹大小加起来的结果
• 你自己的、能读取这些模型路径的运行代码，因为模型卡没有指定

1. 用 pip 安装 Hugging Face hub 库。
2. 把仓库下载到本地的 models 文件夹。
3. 对照仓库根目录的清单文件检查文件。
4. 让你的代码指向下面的路径。

pip install -U huggingface_hub
hf download HA-SA-ki/SimulS2ST-Omni

hf download HA-SA-ki/SimulS2ST-Omni \
  --local-dir models/SimulS2ST-Omni

models/SimulS2ST-Omni/offline
models/SimulS2ST-Omni/simuls2st_adapter
models/SimulS2ST-Omni/voicebox/voicebox.safetensors
models/SimulS2ST-Omni/voicebox/vocos.safetensors
models/SimulS2ST-Omni/voicebox/voicebox_config.json
models/SimulS2ST-Omni/dualcodec/dualcodec.safetensors
models/SimulS2ST-Omni/dualcodec/w2v_bert_stats.pt
models/SimulS2ST-Omni/w2v

如何使用：你通过选择路径来选择模式。离线推理时，把 offline 文件夹同时作为模型和检查点。流式推理时，把 offline 文件夹作为基础模型，把适配器文件夹作为检查点。

工具 | 作用
offline/ | 存放合并后的 OmniTalker 模型及其 talker、处理器和分词器文件
simuls2st_adapter/ | 存放用于流式翻译的 LoRA 适配器和 talker 部件
voicebox/ | 存放 VoiceBox 和 Vocos 文件及其配置
dualcodec/ | 存放 DualCodec 权重和归一化统计数据
w2v/ | 存放支持编解码分词器的 W2V-BERT 音频特征模型

示例：要用流式模式翻译，你把 offline 文件夹作为基础、适配器文件夹作为检查点加载，然后输入英文或中文语音。模型卡没有给出调用方式，所以具体输出取决于你用的运行代码。

新手与专家：如果你是新手，这个仓库是零件箱，而不是成品机器。第一小步是下载它，并确认文件与清单一致，然后再去找能驱动它们的运行代码。

如果你熟悉这个领域，这个布局把合并后的离线模型和用于同声场景的 thinker、talker LoRA 适配器分开。音频部分增加了一条编解码路径，包含 DualCodec、W2V-BERT 统计数据、VoiceBox 和 Vocos。一个配置文件记录了每个组件的相对路径。代价是模型卡没有给出基准测试或运行脚本。

语音输入
离线模型或流式适配器读取
编解码组件处理音频
输出翻译后的语音

注意事项：

• 规模：offline 文件夹约 13 GB，voicebox 约 2.3 GB，w2v 约 2.2 GB
• 完整性：清单文件可以校验每个运行时资源
• 语言：英文和中文
• 成熟度：模型卡没有使用代码、指标或示例

• License: Apache 2.0
• Cost to run: 未提及，来源没有列出 API 密钥、账号或付费服务
• Data it reaches: 你传入的音频和你磁盘上的模型文件，来源没有提到网络或账号访问
• Not for: 来源没有禁止任何用途，但它没有提供现成的应用或运行脚本

Hugging Face 上的数据（2026年11月13日）

• 任务：audio to audio
• 框架：transformers
• Formats: Safetensors
• 最近 30 天下载：0
• 点赞：2
• 许可证：apache-2.0
• 语言：en, zh
• 标签：transformers, safetensors, speech-to-speech, simultaneous-translation, streaming, qwen2.5-omni, peft, audio-to-audio

链接

• 模型：https://huggingface.co/HA-SA-ki/SimulS2ST-Omni
• 文件：https://huggingface.co/HA-SA-ki/SimulS2ST-Omni/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HA-SA-ki/SimulS2ST-Omni

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。