GPT-X3-150M

GPT-X3-150M

Axiomic Labs 的 149M 参数基础文本模型，会接着你给的文本往下写。模型卡报告它的 Intelligence Index 为 33.05，高于 SmolLM2-135M 的 27.13。F32 下约 598 MB。

由 AxiomicLabs 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：GPT-X3-150M 是 Axiomic Labs 的第三代基础模型，用团队自己的 TrainWork 工具从零训练。它采用 TX5 设计，混合了两种注意力层。它有 149M 参数，使用英语。作为基础模型，它是接着文本往下写，而不是执行聊天指令。模型卡说它在作者自己的小模型排行榜上排名第一。

适合谁：如果你是研究人员、学生或开发者，想要一个很小的语言模型来研究、微调或做快速测试，它就适合你。

行业 | 谁在用 | 怎么用 | 例子
研究 | 小模型研究人员 | 把它与其他 150M 参数以下的模型做对比 | 把它的 Intelligence Index 和 SmolLM2-135M 比一比
教育 | 学习语言模型的学生 | 在小规模上研究混合注意力设计 | 查看 24 层、3 比 1 混合的层布局
原型开发 | 测试流程的开发者 | 用一个很小的基础模型做快速试验 | 用 598 MB 的模型补全一句简短的提示

如果你想要聊天助手，可以跳过它，因为它是基础模型，没有针对遵循指令做过调优。

用在哪里：

• 使用 transformers 库的 Python 脚本
• 小模型的微调和评测环境
• 装有 Python 的 Windows、macOS 和 Linux

用例 | 谁 | 得到什么
文本补全 | 开发者 | 接着你给的文本继续写出的内容
基准对比 | 研究人员 | 可与其他小模型并排比较的分数
架构研究 | 学生 | 一个可运行的 3 比 1 混合层堆叠示例

如何设置：
你需要先准备：

• Windows、macOS 或 Linux 上的 Python
• transformers 库
• 约 598 MB 的磁盘空间，用来放 F32 权重

1. 安装或更新 Hugging Face 下载客户端。
2. 把模型文件下载到你的电脑。
3. 在你自己的 transformers 代码里加载模型。
4. 阅读完整的模型卡，看有没有额外的加载选项。

pip install -U huggingface_hub
hf download AxiomicLabs/GPT-X3-150M

如何使用：你在 Python 里加载模型，给它一段文本的开头让它往下写。这里的模型卡文字里没有代码，而且架构是定制的，所以请查看完整的模型卡了解如何加载。

工具 | 作用
Intelligence Index | 模型卡给出的、跨四组基准的综合分数
Open SLM Leaderboard | 作者自己的榜单，模型卡的结果沿用它
HellaSwag 和 PIQA | 计入该指数的常识类基准
ARC | 科学问答类基准，算作一组
ArithMark-3 | 一个算术基准，在指数里的权重较低

示例：你打开模型卡的表格，把模型 33.05 的 Intelligence Index 和 SmolLM2-135M 的 27.13 对比。模型卡说它用了 75B 个训练 token 达到这个水平，而 SmolLM2-135M 用了 2T。

新手与专家：基础模型预测接下来会出现什么文本，所以你给它一句话的开头时效果最好。可以先给一个简短的提示，生成几个词试试。

对熟悉这个领域的读者来说，这个堆叠有 24 层，其中 18 层是 GDN2，6 层是带门控的 GQA，按 3 比 1 的模式排列。词表有 65,536 个 token，来自 LFM2.5 分词器。训练用了固定的九源混合数据、前 30% 的六 token 目标，以及 Muon 加 AdamW。

下载模型文件
用 transformers 加载它们
给它一段文本的开头
它预测接下来的 token
阅读生成的续写

注意事项：

• 说法：排名第一和首个 150M 以下的说法来自作者自己的榜单和模型卡。
• 指数：这个分数先对四组基准做了猜测修正，算术那一组按 0.65 计，其余三组按 1.00 计。
• 训练：约 75B 个计算 token，原始 token 总共约 187.5B。
• 上下文：配置里列出的块大小是 2048 个 token。
• 截断：这里的文字里，后面的配置行被截掉了。
• 数字：Hugging Face 列出 149M 参数，以及别人做的 1 个量化版本和 1 个微调版本。

Title: 模型卡表格中的 Intelligence Index，越高越好
GPT-X3-150M: 33.05
LFM2.5-350M-Base: 30.50
Boris-2-Preview-1: 27.91
cagliostro-v3.5: 27.49
SmolLM2-135M: 27.13
GPT-2 Medium: 19.68
GPT-2 (124M): 13.58

• License: Apache 2.0。
• Cost to run: 未提及。权重在 F32 下约占 598 MB。
• Data it reaches: 你在自己机器上给它的文本。这里的文字没有提到联网使用。
• Not for: 聊天或遵循指令，因为模型卡称它是基础模型。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：149M
• Weights: about 598 MB in F32; about 75 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：3,000
• 点赞：104
• 许可证：apache-2.0
• 语言：en
• Quantized versions: 1
• Fine-tunes: 1
• 标签：transformers, safetensors, gptx3, text-generation, gptx, gdn2, hybrid, math, language-model, gpt-x3, gpt-x3-150m, open_slm_leaderboard

链接

• 模型：https://huggingface.co/AxiomicLabs/GPT-X3-150M
• 文件：https://huggingface.co/AxiomicLabs/GPT-X3-150M/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download AxiomicLabs/GPT-X3-150M

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。