ARLoop-0.6B

ARLoop-0.6B

把文本接着往下写，是带注意力残差的小型预训练循环 Transformer。这是基础模型，适合想在其上继续做中期训练或后训练的研究人员。

由 osunlp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：ARLoop-0.6B 是 osunlp 团队预训练并公开发布的循环 Transformer，带有注意力残差。它是一次 180B token 训练运行的最终检查点。这是用于文本补全的基础模型，不是聊天助手。

适合谁：想用小型开源基础模型做研究或继续训练的研究人员和开发者。

Industry | Who uses it | How they use it | Example
AI 研究 | 研究人员 | 研究带注意力残差的循环 Transformer | 对比训练过程中的中间检查点
模型训练 | 机器学习工程师 | 从基础模型出发做中期训练或后训练 | 用自己的文本对它做微调
软件 | 开发者 | 在笔记本上运行小型补全模型 | 根据提示词补全一句短话

如果你想要现成的聊天助手，可以跳过这个基础模型。

用在哪里：

• 你自己的电脑，用 Python 在 CPU 或 CUDA GPU 上运行
• 用于中期训练和后训练的训练环境
• 对比检查点的研究笔记本

Use case | Who | What they get back
文本补全 | 开发者 | 接在你所给文本后面的续写
继续训练 | 机器学习工程师 | 可以继续训练的基础
检查点研究 | 研究人员 | 可以相互比较的中间版本

如何设置：

• 带 pip 的 Python
• 与你的 CPU 或 CUDA 环境相符的 PyTorch 版本，需要单独安装
• 约 2.3 GB 的 F32 权重磁盘空间

1. 安装下面写明的 transformers 版本和 safetensors。
2. 为你的 CPU 或 CUDA 环境安装一个 PyTorch 版本。
3. 运行加载并生成的脚本。

pip install 'transformers==5.22.0' safetensors
# Install a PyTorch build suitable for your CPU or CUDA environment separately.

如何使用：运行下面的脚本。它会以 BF16 加载模型，输入一个简短的提示词，并打印补全结果。要加载中间检查点，可以在两个 from_pretrained 调用里传入像 step-050000 这样的修订名。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "osunlp/ARLoop-0.6B"
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, dtype=torch.bfloat16,
).to(device).eval()
inputs = tokenizer("The capital of France is", return_tensors="pt").to(device)
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=64, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))

示例：你用提示词 "The capital of France is" 运行脚本。模型会接着写这句话，最多生成 64 个新 token，脚本会打印提示词加上这段续写。

新手与专家：如果你是新手，照原样运行上面的脚本，看它接着写一句话。基础模型只做文本补全，不像聊天助手那样遵循指令。

如果你是专家，18 个物理层在 3 次循环中共享，有效深度为 54。模型卡还写明输出头与词嵌入绑定。

Title: 模型卡中的架构
Property | Value
物理层 | 18，在 3 次循环中共享
有效深度 | 54
隐藏宽度 | 1536
上下文长度 | 4096
词表大小 | 49152

文本被切分成 token
18 个共享层循环运行 3 次
注意力残差连接前面的块
模型预测下一个 token

注意事项：存储的检查点保留了原始的 FP32 权重，推理时以 BF16 加载。

• License: Apache 2.0，与模型卡的说法一致。
• Cost to run: 没有提到 API 密钥或账号。用 CPU 就能试，CUDA GPU 是可选的。
• Data it reaches: 下载会访问 Hugging Face。脚本设置了 trust_remote_code，所以会运行仓库自带的代码。
• Not for: 它是用于补全的基础模型，不是聊天助手。模型卡没有把它推荐为聊天助手。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：583M
• Weights: about 2.3 GB in F32; about 292 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：2,164
• 点赞：5
• 许可证：apache-2.0
• 语言：en
• 标签：transformers, safetensors, arloop, text-generation, recurrent, pretrained

链接

• 模型：https://huggingface.co/osunlp/ARLoop-0.6B
• 文件：https://huggingface.co/osunlp/ARLoop-0.6B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download osunlp/ARLoop-0.6B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。