AI 研究技能与智能体

ReFoCo

yuji-nozawa · 工具包

一篇研究论文的三种规模的预训练视觉 Transformer 检查点，论文研究如何训练注意力头去关注图像区域。适合提取图像特征和复现论文的研究人员。

Moirai-2.0-R-Small

Salesforce · 工具包

用一个小型的仅解码器 transformer 预测时间序列的未来值，它在多种序列上训练过。这是 Salesforce 的研究型模型，适合分析师和数据科学家。

TRIBE v2

facebook · 工具包

用一个映射到大脑皮层表面的多模态 Transformer，估计大脑对视频、音频和文本的 fMRI 反应。适合神经科学和 AI 研究者。

Cola DLM

ByteDance-Seed · 工具包

一个研究用的文本生成模型，在连续潜空间中写作，把文本自编码器和扩散 Transformer 配在一起。适合想运行并测试已发布检查点的研究人员和开发者。

qwen-2.5-0.5b-block-transformer-hiba-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

OpenAI GPT 1

openai-community · 工具包

用 OpenAI 发布的第一个 transformer 语言模型续写你开头的英文文本，参数量 120M。适合研究早期语言模型或学习 transformers 库的人。

Qwenputer-npu

divagr1925 · 工具包

一个把小型 RISC-V 计算机内置在权重里的 Qwen3.5-4B 模型，用于精确算术和运行一个微型故事模型。这是给研究 transformer 内部程序的研究者做的实验。

Vision Transformer (Small)

keras-io · 工具包

你可以在 Gradio 页面里试用 keras-io 的小型 Vision Transformer 图像模型，里面带有示例图片。适合想看它实际运行的学生和开发者。

Video Vision Transformer for CT

keras-io · 工具包

你可以在 Gradio 页面里试用一个处理 CT 类数据的视频视觉 Transformer，里面带有两个示例视频。适合对视频模型好奇的学生和开发者。

Time-series with Transformers

keras-io · 工具包

你可以在 Gradio 页面里试用一个给时间序列分类的 Transformer 模型，里面带有两个示例 CSV 文件。适合处理序列数据的学生和开发者。

Swin Transformers

keras-io · 工具包

你可以在 Gradio 页面里试用 keras-io 的 Swin Transformer 图像模型，里面带有示例图片。适合想看视觉 Transformer 实际运行的学生和开发者。

ARLoop-1.2B

osunlp · 工具包

osunlp 推出的开放 1.2B 基础语言模型，是带注意力残差的循环 Transformer，附带一次 500B token 训练的检查点。适用于文本补全和进一步训练。

RigidFormer

hugging-apps · 工具包

用一个处理点集的 Transformer 预测多个刚体如何运动和碰撞，并把它的推演结果和模拟器的真实结果放在一起显示。适合物理和机器学习研究者。

Text Surprisal Editor

build-small-hackathon · 工具包

按一个只有 4M 参数的小语言模型觉得每个词有多意外，给文本里的每个词上色。模型没有 Transformer 块。这是一个黑客松项目，适合写作者和研究者。