AI 研究技能与智能体

ReFoCo

yuji-nozawa · 工具包

一篇研究论文的三种规模的预训练视觉 Transformer 检查点，论文研究如何训练注意力头去关注图像区域。适合提取图像特征和复现论文的研究人员。

qwen-2.5-0.5b-block-transformer-hiba-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

qwen-2.5-0.5b-bam-umoe-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

Augmenting CNNs with attention-based aggregation

keras-io · 工具包

在 Gradio 页面里用在 ImageNette 上训练的、带注意力聚合的 CNN，显示图像分类器决定背后的注意力图，适合机器学习学习者和研究人员。

ARLoop-1.2B

osunlp · 工具包

osunlp 推出的开放 1.2B 基础语言模型，是带注意力残差的循环 Transformer，附带一次 500B token 训练的检查点。适用于文本补全和进一步训练。

Visual Saliency Prediction

alexanderkroner · 工具包

预测图片里哪些区域最先吸引目光，使用 2020 年 Neural Networks 论文中的 MSI-Net 模型。适合想快速查看可能关注区域的研究者和设计师。