Olmo-3.1-32B-Think

Olmo-3.1-32B-Think

回答前先用英语一步步推理，对数学和代码问题有帮助。这是 allenai 的 32B 开放模型，公开了代码、检查点和训练细节，通过 transformers 运行。

由 allenai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Olmo 3.1 32B Think 是 allenai 的开放语言模型，回答问题前会先长时间思考。这种长推理对数学和代码任务有帮助。它有 32.2B 参数，使用英语，由 Olmo-3-32B-Think-DPO 模型继续训练而来。它属于 Olmo 3 系列，该系列有 7B 和 32B 两种规格，各有 Instruct 和 Think 两个变体。

适合谁：想研究完全开放模型的研究人员最合适，想在自己机器上通过 transformers 运行推理模型的开发者也很合适。做数学题的学生和老师可以阅读它一步步的思考过程。

行业 | 谁在用 | 怎么用 | 例子
研究 | 语言模型研究人员 | 研究一个公开了代码、检查点和训练细节的模型 | 按步骤名称加载较早的训练检查点
软件 | 开发者 | 通过 transformers 库在本地运行推理模型 | 提一个代码问题，先看思考部分再看答案
教育 | 数学学生和老师 | 跟着推理过程理解数学题 | 把一道数学题交给模型，逐步检查它写出的每一步

如果你需要英语以外的语言回复，可以跳过它，因为记录里只列出了英语。

用在哪里：它在 Python 里通过标准的 transformers 库运行。

• Python，transformers 4.57.0 或更高版本
• Windows、macOS 或 Linux，文件通过 Python 下载
• CUDA GPU，模型卡里的可选代码会用到
• bitsandbytes，如果你想用 8-bit 选项

使用场景 | 谁用 | 得到什么
数学问题 | 学生 | 最终答案之前写出的推理过程
代码问题 | 开发者 | 思考部分之后的代码帮助
训练研究 | 研究人员 | 按步骤名称加载的中间检查点

如何设置：你需要 Python，还要给权重留出空间。

• Windows、macOS 或 Linux 上的 Python
• transformers 4.57.0 或更高版本
• BF16 权重约需 64.5 GB 磁盘，4-bit 约 16.1 GB，这是估算值
• 可选：CUDA GPU，以及用于 8-bit 加载的 bitsandbytes

1. 安装 Hugging Face hub 库。
2. 用 hf 命令下载模型文件。
3. 按上面的版本安装 transformers。

pip install -U huggingface_hub
hf download allenai/Olmo-3.1-32B-Think

pip install transformers>=4.57.0

如何使用：用 transformers 加载模型和分词器，对提示词分词，再调用 generate。下面的代码最多采样 100 个新 token，并打印解码后的回复。

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/Olmo-3.1-32B-Think")
tokenizer = AutoTokenizer.from_pretrained("allenai/Olmo-3.1-32B-Think")
message = ["Who would win in a fight - a dinosaur or a cow named Moo Moo?"]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

Tool | What it does
AutoModelForCausalLM.from_pretrained | 加载模型权重
AutoTokenizer.from_pretrained | 加载配套的分词器
generate | 写出回复的 token
batch_decode | 把 token 转回文字
list_repo_refs | 列出模型保存的所有版本

要加载较早的后训练检查点，加上 revision 参数并填入步骤名称。

olmo = AutoModelForCausalLM.from_pretrained("allenai/Olmo-3.1-32B-Think", revision="step_300")

默认的系统消息把模型设定为一个普通的乐于助人的助手。

<|im_start|>system
You are a helpful AI assistant.<|im_end|>

示例：你运行这段代码，问恐龙和一头叫 Moo Moo 的奶牛打架谁会赢，这是模型卡自带的示例问题。回复先是一段思考，模型在里面一步步推理，答案跟在后面。

新手与专家：Think 模型先写出推理，再给出答案，所以回复比普通聊天模型更长。第一件可以试的小事，是同系列的 7B Think 模型，因为它比这个 32B 模型小得多。

这个系列分阶段训练：先 SFT，再 DPO，最终模型用 RLVR。预训练用的是 Dolma 3 数据集，之后用了 Dolci 数据集。这个 3.1 版本从 Olmo-3-32B-Think-DPO 模型出发。后训练检查点保存为名为 step_XXX 的版本，所以你可以加载训练途中的某一点。8-bit 选项对数据类型和 CUDA 更敏感，模型卡建议把输入移到 GPU 上。示例把输出限制在 100 个新 token，较长的思考部分可能会用完这个额度。

用 hf 下载权重
在 transformers 里加载模型和分词器
你的提示词以聊天文本的形式输入
模型先写出一段思考
最后给出答案

注意事项：模型卡说它的日志仍会稍后提供。

• 系列：Olmo 3 有 7B 和 32B 两种规格，各有 Instruct 和 Think。
• 其他版本：记录显示他人制作了 26 个量化版本和 15 个微调版本。
• 量化：8-bit 加载需要 bitsandbytes，对数据类型更敏感。

Title: 不同精度下的权重大小
BF16: 64.5 GB
4-bit (estimate): 16.1 GB

• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥、账号或付费服务，但 BF16 权重约需 64.5 GB。
• Data it reaches: 它会从 Hugging Face 下载文件，代码在你自己的机器上生成文字。
• Not for: 来源没有列出禁止的用途。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：32.2B
• Weights: about 64.5 GB in BF16; about 16.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：7,384
• 点赞：121
• 许可证：apache-2.0
• 语言：en
• 基于：allenai/Olmo-3-32B-Think-DPO
• Quantized versions: 26
• Fine-tunes: 15
• 标签：transformers, safetensors, olmo3, text-generation, conversational

链接

• 模型：https://huggingface.co/allenai/Olmo-3.1-32B-Think
• 文件：https://huggingface.co/allenai/Olmo-3.1-32B-Think/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download allenai/Olmo-3.1-32B-Think

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。