caramel-1

caramel-1

这是一个 413M 参数的语音到语音模型，只用对话录音训练，从未见过文本，能进行实时的你来我往。适合语音 AI 研究者和爱好者。

由 naklecha 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：caramel-1 是一个受 Dessa 启发的语音到语音对话模型。它只从人们交谈的录音中学习，从未被展示过文本。它的代码、训练方法和权重都已公开发布。作者说它听起来像真人，但它说的大部分内容目前还讲不通。

适合谁：它适合想研究只用语音训练的小模型如何应对实时对话的研究者和爱好者。

Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
语音 AI | 研究者 | 研究只用语音的模型如何轮流说话 | 两个副本决定什么时候说话、什么时候保持安静
语音数据 | 数据团队 | 学习数据来源和评分方法 | 由 13 项时间和录音统计得出的接近度分数
教育 | 学生 | 阅读小型语音模型的开放训练方法 | 了解音频如何按每秒 12.5 帧变成 token

需要一个能讲得通的聊天机器人的人可以跳过，因为作者说大部分回复目前还讲不通。

用在哪里：

• PyTorch：模型就是为这个库发布的
• GPU：模型卡说音频生成速度约为实时的 11 倍
• MacBook Pro（M3 Pro）：模型卡报告两个副本合计的速度约为实时的四倍
• Windows、macOS 或 Linux：用 Python 下载文件

Title: 它能做的事
用途 | 适合谁 | 得到什么
实时对话演示 | 研究者 | 两个副本一边听一边说，互相交谈
轮流说话研究 | 语音团队 | 一个每 80 毫秒决定是否开口的模型
数据与评分思路 | 数据团队 | 一种评估对话与目标有多接近的方法

如何设置：你需要先准备：

• Windows、macOS 或 Linux 上的 Python
• PyTorch，模型使用的库
• 一块 GPU 或较新的 Mac，才能达到实时速度
• 约 826 MB 的存储空间，用于 BF16 权重

1. 安装 Hugging Face hub 软件包。
2. 下载模型文件。
3. 用模型卡指向的代码和步骤运行模型。

pip install -U huggingface_hub
hf download naklecha/caramel-1

如何使用：下载权重，然后按照模型卡及其 GitHub 项目运行模型。这条命令用来获取文件。

hf download naklecha/caramel-1

模型卡描述了并排运行两个副本的做法。每个副本每 80 毫秒听一次对方，并决定是开口还是保持沉默。它的示例文字稿来自语音识别器，只是帮你跟上内容。

示例：你运行两个副本，让它们互相聆听。你会听到一段听起来像真人的你来我往，不过说的大部分内容目前还讲不通。

新手与专家：如果你刚接触，可以把它看作一个只靠录音学会说话的声音。运行任何东西之前，先下载 826 MB 的权重，并阅读模型卡里的示例说明。

如果你熟悉这个领域，神经音频编解码器把每位说话者的音频转换成每秒 12.5 帧，每一帧包含 8 个 token。这就是模型从不处理原始音频的原因。训练涵盖约 33B 个 token，来自 11,555 小时的语音。据模型卡所说，增加小时数和训练遍数降低了模型在没见过的对话上的损失。作者用取自 Dessa 示例的 13 项统计数据给对话打分。

每位说话者的音频变成编解码器 token
模型预测接下来会出现什么
每 80 毫秒决定开口或保持安静
生成的 token 变成语音

注意事项：模型卡列出了模型学习了多少语音。

Title: 训练语音的小时数
两人对话: 5743 小时
单人语音: 5812 小时

• License: apache-2.0
• Cost to run: 未提及
• Data it reaches: 你输入的音频，而训练数据是来自互联网的公开语音
• Not for: 可靠的对话，因为作者说它说的大部分内容目前还讲不通

Hugging Face 上的数据（2026年11月13日）

• 任务：audio to audio
• 框架：pytorch
• 参数量：413M
• Weights: about 826 MB in BF16; about 207 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：89
• 点赞：14
• 许可证：apache-2.0
• Fine-tunes: 1
• 标签：pytorch, safetensors, audio, speech, speech-to-speech, full-duplex, spoken-dialogue, audio-to-audio

链接

• 模型：https://huggingface.co/naklecha/caramel-1
• 文件：https://huggingface.co/naklecha/caramel-1/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download naklecha/caramel-1

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。