LongCap-35B-A3B-FP8

LongCap-35B-A3B-FP8

把最长约两小时的录音变成带起止时间的语音、音乐和声音事件时间线，也能转写语音并标出说话人。FP8 权重，适合单张 H100 80GB 显卡。

由 JinchuanTian 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：LongCap 会听一段录音，从几秒到约两小时都行，并写出它听到内容的时间线。每个语音、音乐或声音事件都有开始时间、结束时间和一组结构化属性。同一个检查点还能转写语音并标出是谁在说话。

这个仓库放的是 FP8 版本，尺寸适合一张 H100 80GB 显卡。模型约有 353 亿个参数。另外还有 BF16 版本。

适合谁：适合有大显卡、需要对长录音做详细带时间戳描述的音频和媒体开发者、研究人员和档案管理员。它能读英语和中文。

Industry | Who uses it | How they use it | Example
媒体 | 档案和后期制作团队 | 按发生的内容和时间为长录音建立索引 | 标出一部电影里的语音、音乐和声音提示
研究 | 音频研究人员 | 研究长时音频描述 | 对比两小时音频上的描述质量
无障碍 | 字幕开发者 | 生成超出纯文字转写的描述 | 在对白之外描述声音
会议 | 转写开发者 | 转写语音并标出说话人 | 为一段长通话写出带说话人标签的转写稿

如果你没有 H100 级别的显卡，可以先跳过它，因为模型卡把 FP8 版本的尺寸定在一张 H100 80GB 上。

用在哪里：

• 带 H100 80GB 显卡的服务器或工作站，使用 longcap 库。
• 项目的代码仓库和快速入门，模型卡指向了它们。
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件。

Use case | Who | What they get back
音频时间线 | 媒体团队 | 带起止时间和结构化属性的事件
语音转写 | 开发者 | 带说话人标签的转写稿
长录音描述 | 研究人员 | 一次处理最长约两小时录音得到的描述

如何设置：你需要大显卡和项目自己的代码。

• FP8 版本需要 H100 80GB 显卡
• 来自项目代码仓库的 longcap 库
• 用来下载的 Python 和 Hugging Face 工具
• 磁盘空间，因为 FP8 权重约 38.4 GB

1. 安装 Hugging Face 工具。
2. 下载 FP8 文件。
3. 按项目代码仓库里的快速入门运行它。

pip install -U huggingface_hub
hf download JinchuanTian/LongCap-35B-A3B-FP8

如何使用：你把一段录音交给它。它一段一段地读音频，为每一段记录事件，同时记住前面的内容。模型卡把运行步骤放在代码仓库里，而不是这里的页面文字中。

每个事件有 speech、music 或 sound_event 这样的类型、一组属性和一句简短的说明。每个事件里的标签用的是中文词，而说出来的话和歌词保持它们原来的语言。

Tool | What it does
speech event | 带有转写文字和说话人特征
music event | 带有乐器和速度
sound_event | 带有声音的来源和距离

示例：模型卡让模型一次处理了一部 110 分钟的电影。在第 87 分钟前后，模型记录了四件事：渐渐远去的脚步声、两句简短的台词，以及预示场景切换的小号独奏。每个事件都带着从开头算起的秒数时间。

新手与专家：如果你刚接触，可以把它想成一个用耳朵看录音的工具，会把每个声音、旋律和噪音写成详细的日志。先读快速入门，因为它需要大显卡。

对专家来说，模型把之前的音频和文字保留在最多 1M 标记的上下文里，并使用涵盖语音、音乐和声音的 62 个专家设计的属性键。只有混合专家的权重量化成 FP8，其余保持 BF16，模型卡说 BF16 和 FP8 两个版本的输出非常接近。

一段最长约两小时的录音
模型分成短块读取
为每一块写出事件
之前的音频和文字保留在上下文里
你得到带属性的时间线

Title: LongCapBench-TAC-Short 上的 tcpCapSim，越高越好
LongCap: 64.6 %
Qwen3.5-Omni-Plus: 52.7 %

注意事项：下面几点说明了限制和成本。

• Output language: 属性名和值是中文，另有一个键文件给出它们的英文名。
• Hardware: FP8 版本面向一张 H100 80GB，BF16 版本需要两张。
• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。需要高端 GPU。
• Data it reaches: 它读取你给它的录音。
• Not for: 没有大显卡的环境。论文里更大的模型没有发布。

Hugging Face 上的数据（2026年11月13日）

• 任务：audio text to text
• 框架：longcap
• 参数量：35.3B
• Weights: about 35.3 GB in F8_E4M3; about 17.7 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：65
• 点赞：2
• 许可证：apache-2.0
• 语言：en, zh
• 基于：JinchuanTian/LongCap-35B-A3B
• 标签：longcap, safetensors, qwen3_5, audio, audio-captioning, timestamped-audio-captioning, dense-audio-captioning, long-form-audio, speaker-diarization, automatic-speech-recognition, music, sound-event-detection

链接

• 模型：https://huggingface.co/JinchuanTian/LongCap-35B-A3B-FP8
• 文件：https://huggingface.co/JinchuanTian/LongCap-35B-A3B-FP8/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download JinchuanTian/LongCap-35B-A3B-FP8

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。