distilbert-sst2-rpc

distilbert-sst2-rpc

在 GLUE SST-2 上微调的 DistilBERT 文本分类器，换用压缩的随机投影注意力，把打分计算量减半。适合研究更快注意力的实验模型。

由 Hooshaai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：distilbert-sst2-rpc 是在 GLUE SST-2 上微调的 DistilBERT 文本分类器，它的注意力被换成了一种叫 RPC attention 的压缩版本。查询和键用一个固定的随机矩阵从 64 维投影到 32 维，模型卡称这能把打分的 FLOPs 减少 50%。值保持完整大小，模型仍有 66.4M 参数。

适合谁：适合研究高效注意力、内核速度或 Transformer 压缩方法的研究人员和工程师。

行业 | 谁在用 | 怎么用 | 例子
研究 | 高效注意力研究人员 | 在小模型上研究随机投影注意力 | 对比恢复步骤前后的准确率
硬件 | 内核工程师 | 测量草图注意力的 Triton 内核速度 | 复现 3.82 ms 对 1.58 ms 的耗时
软件 | NLP 工程师 | 测试对延迟敏感场景更轻的分类器 | 在 SST-2 验证数据上运行模型

需要最高准确率的人可以跳过它，因为在模型卡自己的测试里，稠密基线的得分更高。

用在哪里：这是研究用模型，在能运行 Triton 内核的机器上用 Python 使用。

• 带 Transformers 库的 Python，如记录所列
• neuralops 框架，1.4.3 版，模型卡有提到
• NVIDIA 显卡，因为模型卡的数字来自 RTX 4070
• Windows、macOS 或 Linux，配合 Python 下载文件

用例 | 谁用 | 得到什么
注意力研究 | 研究人员 | 稠密、零样本和恢复后三个变体的准确率与 F1
延迟测试 | 内核工程师 | 草图注意力与稠密注意力的耗时对比
文本分类 | NLP 工程师 | 每段输入文本的预测类别

如何设置：获取文件很快，加载代码需要你自己来写。

• 带 pip 的 Python
• Transformers 库
• 模型卡提到的版本的 neuralops 框架，1.4.3
• 做速度测试时，需要一张 NVIDIA 显卡

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载模型文件。
3. 安装 1.4.3 版的 neuralops，也就是模型卡提到的框架。
4. 用 Transformers 加载文件，因为模型卡没有给出加载代码。

pip install -U huggingface_hub
hf download Hooshaai/distilbert-sst2-rpc

如何使用：模型卡没有给出推理代码，所以日常使用就是加载文件，再把文本送进去分类。模型卡自己做的是在 SST-2 验证集上的基准测试，序列长度 128，批大小 32。

工具 | 作用
rpc_attention | 这个模型使用的压缩注意力机制
neuralops | 模型卡为这个模型提到的框架
Triton kernel | 模型卡在基准测试里测量延迟的内核

示例：一位研究人员下载文件，在 SST-2 验证集上对比三个变体。模型卡报告稠密基线的准确率是 90.71%，零样本 RPC 注意力是 80.20%，经过 50 步恢复后是 88.88%。

新手与专家：通常分类器会以完整精度比较每一对词。这个模型先用一个固定的随机投影把这种比较缩小到一半大小，所以计算更少。第一件可以试的小事，就是下载文件，看看基准测试的数字。

RPC attention 依靠 Johnson-Lindenstrauss 引理。一个固定的、不可训练的、按头划分的随机投影把 Q 和 K 从 64 维降到 32 维。logits 在那里计算并除以 32 的平方根，值保持完整大小。模型卡称内积估计是无偏的，方差大约是投影维度的倒数量级。

把 Q 和 K 投影到 32 维
计算草图注意力的 logits
对 logits 做 softmax
聚合完整大小的值
把输出投影回 768

注意事项：下面所有数字都是作者自己的结果，来自一张显卡上的测试。

Title: 各变体的 SST-2 准确率
稠密基线: 90.71 %
零样本 RPC 注意力: 80.20 %
50 步恢复后: 88.88 %

• 取舍：恢复后的模型准确率比稠密基线低 1.83 个百分点。
• 速度：Triton 内核延迟从 3.82 ms 降到 1.58 ms，提速 2.42 倍，三个变体的 F1 依次是 0.9099、0.8050 和 0.8798。
• 测试环境：在 RTX 4070 上跑 SST-2 验证集，序列长度 128，批大小 32。
• License: MIT。
• Cost to run: 没有提到费用。
• Data it reaches: 你下载的文件。模型卡没有提到联网或账号访问。

Hugging Face 上的数据（2026年11月13日）

• 任务：text classification
• 框架：transformers
• 最近 30 天下载：0
• 点赞：2
• 许可证：mit
• 语言：en
• 标签：transformers, neuralops, rpc-attention, random-projection, johnson-lindenstrauss, subquadratic-attention, distilbert, sst2, text-classification

链接

• 模型：https://huggingface.co/Hooshaai/distilbert-sst2-rpc
• 文件：https://huggingface.co/Hooshaai/distilbert-sst2-rpc/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Hooshaai/distilbert-sst2-rpc

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。