mine:o1-nano

mine:o1-nano

一个用 JAX 和 Flax 从零训练的 124M 参数 GPT-2 风格语言模型，附带可在 CPU 上使用的 ONNX 文件。适合研究小模型训练的学生和研究者。

由 MineAITechnology 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：mine:o1-nano 是一个 GPT-2 风格的小型语言模型，有 124 million 参数。MineAI Technology 在 TPU 上用 JAX 和 Flax NNX 从零预训练它，然后做了三轮监督微调。模型卡把它定位为透明的基线和教学参考，并公开了它的失败情形。名字里的 "o1" 是团队自己的编号，与 OpenAI 无关。

适合谁：适合想看一条完整的小模型流水线，从数据一直到在 CPU 上提供服务的学生、研究者和工程师。它也可以作为基线，与其他 124M 参数模型对比。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
教育 | 学习语言模型的学生 | 研究 JAX 里从零训练的做法 | 阅读模型卡里的架构和训练说明
研究 | 小模型研究者 | 把它当作已公开的基线 | 与其他 GPT-2 规模的模型对比困惑度
软件 | 测试 CPU 部署的开发者 | 用 ONNX Runtime 运行一个很小的模型 | 在小型服务器上加载量化的 ONNX 文件

如果你想要一个开放式的聊天助手，可以跳过它。模型卡说它还没准备好用于自由文本聊天的部署。

用在哪里：模型提供 ONNX 文件用于 CPU，也提供 JAX 检查点用于继续训练。

• CPU 上的 ONNX Runtime，量化文件最快
• JAX 和 Flax NNX，用来在检查点基础上继续训练或微调
• Windows、macOS 或 Linux 加 Python

Title: 它能做的事
Use case | Who | What they get back
CPU 文本生成 | 开发者 | 一个小到普通服务器就能跑的模型生成的短文本
训练学习 | 学习者 | 预训练和分阶段微调的完整示例
继续训练 | 研究者 | 可以在 JAX 里继续微调的检查点

如何设置：你需要带 pip 的 Python。走 ONNX 路线的话，安装模型卡快速上手里的运行时和辅助包。然后下载仓库。

• 带 pip 的 Python
• ONNX 路线需要 ONNX Runtime、transformers、numpy 和 huggingface_hub
• 如果打算继续训练，需要带 Flax NNX 的 JAX

1. 安装 ONNX 路线需要的 Python 包。
2. 从 Hugging Face 下载模型文件。
3. 按你的目标选对应的 ONNX 文件。

pip install onnxruntime transformers numpy huggingface_hub

pip install -U huggingface_hub
hf download MineAITechnology/mine-o1-nano

如何使用：用 ONNX Runtime 加载一个 ONNX 文件，然后用它的专用用户和助手标记来给模型写提示词。这里没有完整显示模型卡的 Python 快速上手，所以具体调用请按模型卡操作。量化可能让输出略有变化，如果需要精确的行为，请与 fp16 文件对比。

Title: 该用哪个文件
Goal | File
CPU 上延迟最低 | 量化的 ONNX 文件
CPU 输出最接近原始 | fp16 的 ONNX 文件
参考或调试 | fp32 的 ONNX 文件
在 JAX 里继续训练 | Orbax 检查点

示例：你在一台小型 CPU 服务器上加载量化的 ONNX 文件，用模型的用户和助手标记发送一个简短的提示词。你会得到一段简短的文字回复。不要期待太高的质量，因为模型卡对它的局限很坦率。

新手与专家：如果你是新手，这是 GPT-2 的一个极小的亲戚，你可以在普通电脑上运行它。先用量化文件和一个简短的提示词，然后自己判断输出。

如果你熟悉这个领域，它有 12 层、12 个头、768 的隐藏维度和 1024 个 token 的上下文，并共享输入输出嵌入。词表在 GPT-2 基础词表上增加了两个专用标记。模型卡说，在零样本 WikiText-103 困惑度上，它落后于压缩和蒸馏版的 GPT-2 变体。

文本用 GPT-2 词表分词
12 层解码器处理这些 token
模型预测下一个 token
ONNX 文件在 CPU 上运行

注意事项：文件有多种精度。更小的文件在 CPU 上运行更快，但输出可能略有变化。

Title: ONNX 文件大小
fp32: 535 MB
fp16: 335 MB
Quantized: 134 MB

• License: Apache 2.0
• Cost to run: 未提及，模型卡说在线演示运行在一个小型 CPU 实例上
• Data it reaches: 来自 Hugging Face 的模型文件，以及你给它的提示词
• Not for: 开放式聊天部署、推理任务，或任何需要最先进模型的场景

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：flax
• 最近 30 天下载：68
• 点赞：7
• 许可证：apache-2.0
• 语言：en
• 标签：flax, onnx, gpt2, text-generation, from-scratch, small-language-model, causal-lm

链接

• 模型：https://huggingface.co/MineAITechnology/mine-o1-nano
• 文件：https://huggingface.co/MineAITechnology/mine-o1-nano/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download MineAITechnology/mine-o1-nano

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。