OLMoE-1B-7B-0924

OLMoE-1B-7B-0924

用运行成本较小的混合专家模型续写英文文本，激活参数 1B，总参数 7B。代码、数据和检查点全部开放，适合使用 transformers 的研究人员和开发者。

由 allenai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：OLMoE-1B-7B-0924 是 allenai 在 2024 年 9 月发布的开放语言模型。它采用混合专家结构，总参数 7B，其中 1B 处于激活状态，所以每个 token 的成本和 1B 模型相当。模型卡称它完全开放，并称它能与 Llama2-13B 这样更大的模型一较高下。

适合谁：想检查每个训练阶段的研究人员最合适，想通过 transformers 试用混合专家模型的开发者也很合适。想了解语言模型怎么训练的学生可以跟着已发布的各个阶段学习。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语言模型研究人员 | 研究一个每个训练阶段都公开了代码、数据和日志的模型 | 把检查点名称当作 revision 传入，加载早期检查点
软件 | 开发者 | 在自己的 Python 代码里运行激活参数为 1B 的混合专家模型 | 根据一小段文字提示生成续写
教育 | 学习语言模型训练的学生 | 借助已发布的检查点，跟着预训练、监督微调和偏好阶段学习 | 对比主检查点和调优后的 Instruct 版本

如果你需要英语以外的语言回复，可以跳过它，因为记录里只列出了英语。

用在哪里：它在 Python 里通过 transformers 库和 torch 运行。

• Windows、macOS 或 Linux，文件通过 Python 下载
• 有 CUDA GPU 时用 GPU，否则用 CPU，模型卡的示例就是这样选的
• 你自己用 transformers 加载模型的脚本和笔记本

使用场景 | 谁用 | 得到什么
文本续写 | 开发者 | 接着提示继续写下去的一段文字
检查点研究 | 研究人员 | 训练过程中不同时间点的模型
模型对比 | 学生 | 一个可与其他 1B 级别模型对照的小型开放模型

如何设置：你需要装有几个库的 Python，还要给权重留出空间。

• Windows、macOS 或 Linux 上的 Python
• torch
• 从源码安装的 transformers，模型卡要求这样做，直到后续版本带上所需的改动
• BF16 权重约需 13.8 GB 磁盘，4-bit 约 3.5 GB，这是估算值

1. 安装 Hugging Face hub 库。
2. 用 hf 命令下载模型文件。
3. 按模型卡所说，安装 torch 并从源码安装 transformers。

pip install -U huggingface_hub
hf download allenai/OLMoE-1B-7B-0924

如何使用：加载模型和分词器，对提示词分词，再调用 generate。模型卡的示例会在有 GPU 时把所有内容移到 GPU 上，并打印最多 64 个 token 的回复。

from transformers import OlmoeForCausalLM, AutoTokenizer
import torch

DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

model = OlmoeForCausalLM.from_pretrained("allenai/OLMoE-1B-7B-0924").to(DEVICE)
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMoE-1B-7B-0924")
inputs = tokenizer("Bitcoin is", return_tensors="pt")
inputs = {k: v.to(DEVICE) for k, v in inputs.items()}
out = model.generate(**inputs, max_length=64)
print(tokenizer.decode(out[0]))

要加载其他检查点，把 step10000-tokens41B 这样的版本名传给 from_pretrained。下面的代码列出所有版本。

from huggingface_hub import list_repo_refs
out = list_repo_refs("allenai/OLMoE-1B-7B-0924")
branches = [b.name for b in out.branches]

Tool | What it does
OlmoeForCausalLM.from_pretrained | 加载模型权重
AutoTokenizer.from_pretrained | 加载配套的分词器
generate | 写出续写内容，这里最多 64 个 token
list_repo_refs | 列出保存的版本和分支

示例：你给模型一句话的开头“Bitcoin is”，它会接着写完。在模型卡的示例里，续写的内容解释说比特币是一种以电子方式创建和持有的数字货币。

新手与专家：主模型会接着你给的文字往下写，所以模型卡的示例从一个句子开头开始。第一件可以试的小事，就是用你自己的提示词跑这个示例。面向指令的调优版本是单独的检查点。

每个 token 只有 7B 参数中的 1B 在工作，所以部署成本接近 1B 模型，而权重本身更大。main 分支是从 step1200000-tokens5033B 检查点再退火 100B 个 token 得到的，调优版本都建立在它之上。训练期间权重以 FP32 保存，模型卡说转成 BF16 后没有出现性能下降。单独的 fp32 分支保存原始权重，结果会略有不同。

用 hf 下载权重
在 transformers 里加载模型和分词器
你的提示词变成 token
每个 token 由少数几个专家处理
续写内容被解码成文字

注意事项：模型卡点名了三个重要分支，调优版本是单独的检查点。

• step1200000-tokens5033B：用于退火的预训练检查点。
• main：退火后的检查点，用于 SFT 和 Instruct 的适配。
• fp32：main 的 FP32 版本。
• 其他版本：记录显示他人制作了 9 个量化版本和 7 个微调版本。

Title: 激活参数约 1B 的模型在 MMLU 上的得分
OLMoE-1B-7B: 54.1 分
DCLM-1B: 48.5 分
TinyLlama-1B: 33.6 分
OLMo-1B (0724): 32.1 分
Pythia-1B: 31.1 分

• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥、账号或付费服务，但 BF16 权重约需 13.8 GB。
• Data it reaches: 它会从 Hugging Face 下载文件，示例代码在你自己的机器上生成文字。
• Not for: 来源没有列出禁止的用途。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：6.9B
• Weights: about 13.8 GB in BF16; about 3.5 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：45,654
• 点赞：158
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 9
• Fine-tunes: 7
• 标签：transformers, safetensors, olmoe, text-generation, olmo, co2_eq_emissions

链接

• 模型：https://huggingface.co/allenai/OLMoE-1B-7B-0924
• 文件：https://huggingface.co/allenai/OLMoE-1B-7B-0924/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download allenai/OLMoE-1B-7B-0924

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。