TRIBE v2

TRIBE v2

用一个映射到大脑皮层表面的多模态 Transformer，估计大脑对视频、音频和文本的 fMRI 反应。适合神经科学和 AI 研究者。

由 facebook 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：TRIBE v2 是一个大脑编码模型。你给它一段视频、音频或文本，它就估计大脑会表现出怎样的 fMRI 反应，并铺在大脑皮层表面上。它在一个 Transformer 里连接三个特征提取器：处理文本的 LLaMA 3.2、处理视频的 V-JEPA2 和处理音频的 Wav2Vec-BERT。它的标题称它是跨越视觉、听觉和语言的基础模型，用于在计算机上进行的神经科学实验。

适合谁：适合研究大脑如何处理视觉、声音和语言、并且习惯使用 Python 和神经影像数据的研究者。

行业 | 谁在用 | 怎么用 | 例子
神经科学 | 脑成像研究者 | 预测对视频、音频或文本的 fMRI 反应 | 比较两段视频的预测活动
认知科学 | 语言研究者 | 研究说出的词语如何映射到皮层反应 | 预测对一句录音的反应
AI 研究 | 多模态模型研究者 | 研究把特征映射到皮层的 Transformer | 用 Slurm 在模型卡提到的研究数据集上训练新模型

如果你想要聊天、写作或图像模型，或者需要商用，可以跳过它，因为许可证是非商用的。

用在哪里：它在 Python 3.10 或更新版本里运行，模型卡链接了一个带大脑可视化的 Colab 演示笔记本。

• Windows、macOS 或 Linux 上的 Python 环境
• 模型卡的 Colab 演示笔记本
• Slurm 集群，用于网格搜索训练运行

使用场景 | 谁用 | 得到什么
大脑反应预测 | 神经科学家 | 按时间步和顶点排列的预测数组
大脑可视化 | 研究者 | 安装了绘图扩展后，得到预测活动的图
从零训练 | 机器学习研究者 | 在模型卡提到的研究数据集上训练出的模型

如何设置：先从项目仓库安装代码，再从 Hugging Face 加载预训练权重。只做推理的话基础安装就够了。

• Python 3.10 或更新版本
• 来自 facebookresearch 项目的 tribev2 代码
• 一个能打开受限的 LLaMA 3.2-3B 模型的 Hugging Face 账号，因为模型的文本部分依赖它

1. 获取 tribev2 代码并打开它的文件夹。
2. 用 pip 以可编辑模式安装它。
3. 只有需要时才添加绘图或训练扩展。
4. 在你自己的脚本里加载预训练模型，见下一节。

pip install -e .
pip install -e ".[plotting]"
pip install -e ".[training]"

pip install -U huggingface_hub
hf download facebook/tribev2

如何使用：加载预训练模型，用一段视频建立事件表，然后请求预测。你也可以向同一个调用传入文本或音频路径，文本会被转成语音并转写，以得到逐词的时间。

from tribev2 import TribeModel

model = TribeModel.from_pretrained("facebook/tribev2", cache_folder="./cache")

df = model.get_events_dataframe(video_path="path/to/video.mp4")
preds, segments = model.predict(events=df)
print(preds.shape)  # (n_timesteps, n_vertices)

要从零训练，先设置数据和输出路径，登录 Hugging Face，然后运行测试或网格搜索。

export DATAPATH="/path/to/studies"
export SAVEPATH="/path/to/output"
export SLURM_PARTITION="your_partition"
huggingface-cli login
python -m tribev2.grids.test_run
python -m tribev2.grids.run_cortical
python -m tribev2.grids.run_subcortical

工具 | 作用
TribeModel.from_pretrained | 从 Hugging Face 把预训练模型加载到缓存文件夹
get_events_dataframe | 从视频、文本或音频路径建立事件表
model.predict | 返回大脑反应预测及其片段
pip install with the plotting extra | 添加大脑可视化
pip install with the training extra | 添加训练依赖，比如 PyTorch Lightning 和 W&B

示例：加载模型，让 get_events_dataframe 指向一个视频文件，再调用 predict。打印结果的形状，会得到时间步数乘以皮层网格上的顶点数。

新手与专家：fMRI 测量大脑活动，而这个模型猜测某人看或听到某些内容时，这种活动会是什么样子。第一个小尝试是模型卡的 Colab 演示笔记本，它带着大脑图一步步演示。

对专家来说，预测针对的是平均被试，落在约 20k 个顶点的 fsaverage5 皮层网格上。模型在一个统一的 Transformer 里融合 LLaMA 3.2、V-JEPA2 和 Wav2Vec-BERT 的特征，项目代码涵盖用 PyTorch Lightning 训练和表面投影。取舍是输出为群体水平，而不是针对个人的预测，并且许可证是非商用的。

输入视频、音频或文本
三个特征提取器对它编码
统一的 Transformer 融合它们
预测落在皮层网格上

注意事项：规划研究之前请先读这些限制。

• Average subject: 预测描述的是平均被试，模型卡有解释。
• Mesh: 输出位于 fsaverage5，约 20k 个顶点。
• Restricted model: 文本部分依赖 LLaMA 3.2-3B，它需要获批的访问权限。
• Text input: 文本会被转成语音并转写，以得到逐词的时间。
• License: CC-BY-NC-4.0，非商用。
• Cost to run: 未提及。训练提到了 Slurm 分区和可选的 W&B，没有提到付费 API。
• Data it reaches: 你给它的视频、音频或文本文件，以及下载到缓存文件夹里的权重。
• Not for: 商业用途，或针对单个被试的预测。

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：25,771
• 点赞：760
• 许可证：cc-by-nc-4.0
• Quantized versions: 3
• Fine-tunes: 3

链接

• 模型：https://huggingface.co/facebook/tribev2
• 文件：https://huggingface.co/facebook/tribev2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download facebook/tribev2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。