ARLoop-1.2B

ARLoop-1.2B

osunlp 推出的开放 1.2B 基础语言模型，是带注意力残差的循环 Transformer，附带一次 500B token 训练的检查点。适用于文本补全和进一步训练。

由 osunlp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：ARLoop-1.2B 是 osunlp 推出的开放基础语言模型，是带注意力残差的循环 Transformer。它会重复使用自己的层：24 个物理层在 3 次循环中运行，有效深度达到 72。这个版本包含一次 500B token 训练的检查点，模型卡称它是用于文本补全的基础模型。

适合谁：适合想用开放基础模型研究循环 Transformer 的研究人员和开发者，也适合把它作为自己中期训练和后训练的起点。

Industry | Who uses it | How they use it | Example
学术界 | 机器学习研究人员 | 研究带注意力残差的循环 Transformer | 早期与后期检查点的对比
软件 | 开发者 | 为自己的任务调优小型基础模型 | 自定义的文本补全器
教育 | 学生 | 观察预训练模型在训练中如何变化 | 逐个加载保存的训练步
实验室 | 研究团队 | 把开放检查点当作基线 | 新架构的基线

如果你想要聊天助手，可以跳过它，因为模型卡描述的是用于文本补全的基础模型。

用在哪里：

• 使用 transformers 库的 Python，模型卡把它固定在 5.12.1 版本
• 一块 CUDA GPU，因为模型卡的示例把模型移到 cuda 上
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
文本补全 | 开发者 | 对你给出的文本的续写
中期训练 | 研究人员 | 可以用新数据继续训练的基础模型
后训练 | 机器学习工程师 | 可以为某项任务调优的基础模型
检查点研究 | 研究人员 | 按修订名称加载的任意保存训练步

如何设置：

• Python，用来运行 Hugging Face 下载工具
• 5.12.1 版本的 transformers 库，加上 safetensors 和 accelerate
• 与你的 CUDA 环境匹配的 PyTorch 版本，需要单独安装
• 存放 FP32 权重大约需要 4.8 GB 磁盘

1. 安装 transformers 库，同时安装 safetensors 和 accelerate。
2. 安装适合你 CUDA 环境的 PyTorch 版本。
3. 用 hf 命令下载模型文件，或在 Python 里按名称加载模型。

pip install -U huggingface_hub
hf download osunlp/ARLoop-1.2B

如何使用：把 trust_remote_code 设为 true 来加载模型和分词器，把模型移到 cuda 上，然后给它一段文本的开头。模型卡说权重以 BF16 加载用于推理，而保存的检查点仍保留原始的 FP32 权重。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "osunlp/ARLoop-1.2B"  # Or the local ARLOOP_hf directory.
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, dtype=torch.bfloat16,
).to("cuda").eval()
inputs = tokenizer("The capital of France is", return_tensors="pt").to("cuda")
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=64, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))

示例：你给模型文本“The capital of France is”，并要求关闭采样、最多生成 64 个新 token。它会续写这段文本，因为它是补全文本的模型，不是聊天模型。

新手与专家：先用模型卡上的原样示例和一条简短提示开始。预期它会续写你的文本，而不是像聊天模型那样回答。示例设置了 trust_remote_code，这会让仓库自己的代码运行，所以请先阅读那段代码。

模型的隐藏宽度为 2048，MLP 宽度为 5632，有 16 个注意力头、4 个键值头，上下文长度为 4096。它使用 SmolLM2 分词器，词表有 49152 个 token，输出头与词嵌入共享权重。每个保存的训练步都可以按修订名称单独加载，例如 step-010000。把这个名称同时传给模型和分词器。

安装 transformers 和 PyTorch
加载模型和分词器
给它一段文本的开头
它续写这段文本

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到
• Data it reaches: 从 Hugging Face 下载文件，之后在你自己的机器上运行
• Not for: 聊天或遵循指令，因为模型卡描述的是用于文本补全的基础模型
• Limits: 模型卡的示例需要 trust_remote_code、一块 CUDA GPU 和固定版本的 transformers

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：1.2B
• Weights: about 4.8 GB in F32; about 604 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,399
• 点赞：8
• 许可证：apache-2.0
• 语言：en
• 标签：transformers, safetensors, arloop, text-generation, recurrent, pretrained

链接

• 模型：https://huggingface.co/osunlp/ARLoop-1.2B
• 文件：https://huggingface.co/osunlp/ARLoop-1.2B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download osunlp/ARLoop-1.2B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。