OpenEuroLLM Prelude-base 9B

OpenEuroLLM Prelude-base 9B

一个实验性 9B 基础语言模型的中间训练检查点，用 10T 词元训练，以英文为主并含一部分多语言内容。适合关注欧洲开源模型训练的研究者。

由 openeurollm 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Prelude-base 是 OpenEuroLLM 项目推出的实验性基础语言模型，约有 90 亿参数。它仍在 CINECA 的 Leonardo 系统上训练，所以这个仓库存放的是中间检查点，每个分支一个。它被标注为研究性质的在研作品，最终检查点之后会放到 main 分支。

适合谁：如果你想观察一个开源欧洲基础模型在训练过程中如何变化，它适合你，不论你是研究者还是模型开发者。每个检查点都是完整的 Hugging Face 模型，用几行 Python 就能加载。

Industry | Who uses it | How they use it | Example
研究 | 语言模型研究者 | 加载某个检查点分支，研究它的生成结果 | 加载分支 iter_0124800，用简短提示词采样
教育 | 学习语言模型的学生 | 阅读架构表和训练数据配比，了解 9B 模型是怎么搭建的 | 模型卡里的层数、头数和序列长度数据
多语言工作 | 处理欧洲语言的团队 | 检查基础模型如何续写其他语言的提示词 | 模型卡里的西班牙语、法语、德语、意大利语和芬兰语问候语
模型开发 | 做微调的工程师 | 从某个检查点出发继续训练 | Hugging Face 上列出了六个微调版本

如果你想要一个成品助手，可以跳过它。目前只有中间检查点，main 分支是有意留空的。

用在哪里：

• 在 Windows、macOS 或 Linux 上，用 Python 和 transformers 库
• 一台能放下约 18.19 GB bf16 权重的机器
• 按分支名加载检查点的研究笔记本或脚本

Use case | Who | What they get back
从检查点采样 | 研究者 | 由简短提示词生成的文本
比较训练阶段 | 模型开发者 | 用同一段代码加载不同分支的方法
检查分词器设置 | 开发者 | 不带起始标记的分词结果

如何设置：

• Python
• 示例代码要导入的 transformers 和 torch Python 包
• 约 18.19 GB 的磁盘空间存放权重，另外还要有运行所需的内存

1. 安装 Hugging Face hub 包。
2. 下载仓库文件。
3. 在 Python 里选一个分支名，比如 iter_0124800，作为 revision 传入。

pip install -U huggingface_hub
hf download openeurollm/prelude-base

main 分支是有意留空的，所以检查点放在各个按迭代命名的分支上，下面的 Python 会选定其中一个。

如何使用：把分支名作为 revision 传入，加载模型和分词器，再用你的提示词生成文本。下面的示例会运行五句不同语言的问候语。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "openeurollm/prelude-base"
revision = "iter_0124800"

model = AutoModelForCausalLM.from_pretrained(
    repo, revision=revision, dtype=torch.bfloat16, device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)

prompts = [
    "Hola, ¿qué tal?",
    "Bonjour, comment ça va ?",
    "Guten Tag, wie geht es dir?",
    "Ciao, come stai?",
    "Hei, mitä kuuluu?",
]
generate_kwargs = dict(max_new_tokens=50, do_sample=True, temperature=0.7, top_p=0.9, top_k=50, repetition_penalty=1.3, no_repeat_ngram_size=3)

for prompt in prompts:
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    outputs = model.generate(**inputs, **generate_kwargs)
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))

模型训练时没有使用起始标记，所以各分支的分词器不会自动添加。如果你更早下载的副本仍然添加了起始标记，分词时请把 add_special_tokens 选项设为 False。

Tool | What it does
AutoModelForCausalLM.from_pretrained | 加载由 revision 指定的检查点分支
AutoTokenizer.from_pretrained | 从同一分支加载分词器
model.generate | 续写你的提示词
validation.json | 保存每个检查点附带的贪心解码示例结果

示例：加载分支 iter_0124800，给它提示词 “Bonjour, comment ça va ?”。脚本会打印这句提示词，后面接上模型接着写的内容，最多 50 个新词元。

新手与专家：这是语言模型的原材料，是一个会续写文本的基础模型。第一次尝试时，先下载文件，对一条提示词运行上面的 Python，再看它写了什么。训练还没有完成，输出会比较粗糙。

在底层，它是一个稠密的、只有解码器的 Transformer，紧密沿用 Qwen3 的结构。它有 36 层，隐藏层大小 4096，32 个注意力头和 8 个键值组，使用 RoPE、带 QK-norm 的 RMSNorm、SwiGLU，以及不共享权重的嵌入。词表有 262,145 项，为了张量并行的效率做了填充。已发布的检查点来自 WSD 调度中学习率恒定的阶段，还没有经过冷却。

选一个检查点分支
用 revision 加载模型和分词器
对提示词分词，不加起始标记
按采样设置生成
阅读续写内容

注意事项：训练数据覆盖 36 种目标语言，在数据配比中表示为 41 个语言和文字代码。序列长度是 4096。

Title: 10T 训练词元的大致占比
英文、代码和数学: 80 百分比
多语言文本: 20 百分比

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务，算力要你自己准备
• Data it reaches: 从 Hugging Face 下载检查点文件，示例在你自己的机器上运行模型
• Not for: 成品或已完成冷却的模型，因为 main 分支是空的，已发布的检查点都在冷却之前

Hugging Face 上的数据（2026年11月13日）

• 最近 30 天下载：6,203
• 点赞：20
• 许可证：apache-2.0
• 语言：en, es, ka, fr, de, pt, it, pl
• Fine-tunes: 6

链接

• 模型：https://huggingface.co/openeurollm/prelude-base
• 文件：https://huggingface.co/openeurollm/prelude-base/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download openeurollm/prelude-base

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。