GPT-X3-150M ONNX

GPT-X3-150M ONNX

在 ONNX Runtime 上以五种精度运行 GPT-X3-150M，并比较它们的输出和速度，令牌在 CPU 上流式生成。适合权衡模型大小和质量的开发者。

由 ahmadw 在 Hugging Face 上制作。这些说明是 Mindket 根据它的 Space 页面和 README 写的，应用自己的文件和许可证在 Hugging Face 上。

简介

它是什么：GPT-X3-150M ONNX 是 GPT-X3-150M 的 ONNX 版本的动手演示，GPT-X3-150M 是 Axiomic Labs 的一个小模型。你可以在五种精度版本之间切换，比较每一个写出什么，以及运行得多快。令牌在 CPU 上由 ONNX Runtime 实时流式生成，你可以在浏览器里打开页面，不需要安装任何东西。

适合谁：它适合想看看降低精度会对小型语言模型的速度和输出产生什么影响的开发者和研究者。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 为 CPU 部署选择精度 | 用同一个提示词比较 FP32 和 INT4
AI 研究 | 研究者 | 了解量化的代价 | 阅读每个版本的基准列表
边缘计算 | 设备制造者 | 检查什么能在普通硬件上运行 | 观察 CPU 上的解码速度

如果你想要大型聊天模型，可以跳过它，因为这个展示针对的是小模型。

用在哪里：

• 网页浏览器，打开 Hugging Face 上这个 Space 的页面
• 装有 Docker 的 Windows、macOS 或 Linux，用 Space 的文件在本地构建

用途 | 适合谁 | 能得到什么
比较版本 | 开发者 | 每个精度级别的输出和速度
测量速度 | 开发者 | 每次运行的首个令牌时间和解码速度
阅读基准 | 研究者 | 每个版本的文件大小、困惑度，以及与 FP32 的接近程度

如何设置：

• 一个网页浏览器，在线页面只需要它
• Docker 和带 pip 的 Python，本地副本才需要

1. 在 Hugging Face 上打开这个 Space 的页面，就能在线使用，不需要安装任何东西。
2. 想要本地副本，先安装 Hugging Face hub 包，再下载 Space 的文件。
3. 进入下载好的文件夹。
4. 构建 Docker 镜像，再在发布 7860 端口的情况下运行它。

pip install -U huggingface_hub
hf download ahmadw/GPT-X3-150M-ONNX-demo --repo-type space --local-dir GPT-X3-150M-ONNX-demo
cd GPT-X3-150M-ONNX-demo
docker build -t gpt-x3-150m-onnx-demo .
docker run -it -p 7860:7860 gpt-x3-150m-onnx-demo

应用启动时会从模型仓库下载模型。

如何使用：打开页面，或者在容器运行之后打开你机器上的 7860 端口，选一个精度版本并运行提示词。然后切换版本再比较。

工具 | 作用
精度切换 | 在五个版本中选一个，从完整的 FP32 到混合 INT4
实时流 | 显示 ONNX Runtime 在 CPU 上生成的令牌
运行统计 | 显示每次运行的首个令牌时间和解码速度
基准列表 | 列出每个版本测得的质量和体积数据

示例：先在 FP32 版本上运行一个提示词，再在 INT4 版本上运行同一个提示词。你可以比较两份输出，页面会显示两者分别多快开始、多快解码。

新手与专家：先打开 Space 页面，在 FP32 版本上运行一个提示词。然后切换到 INT4，看看更小的版本改变了什么。

app.py 和 engine.py 里的一个精简 FastAPI 后端，把页面手工搭建的静态前端发给你的浏览器。每个版本都对照 FP32 版本，在文件大小和困惑度、KL 散度等质量指标上打分，所以你可以权衡质量损失和速度收益。

应用启动时下载 ONNX 版本
你选一个精度并发送提示词
ONNX Runtime 在 CPU 上生成令牌
页面流式显示它们和速度数据

注意事项：在线版本运行在基础 CPU 硬件上，所以在其他机器上速度会不同。

• License: Apache 2.0
• Cost to run: 未提及，本地构建需要 Docker
• Data it reaches: 你输入的提示词，以及 ahmadw/GPT-X3-150M-ONNX 和 AxiomicLabs/GPT-X3-150M 模型

Hugging Face 上的数据（2026年11月13日）

• 点赞：5
• 构建方式：docker
• 许可证：apache-2.0

链接

• Space：https://huggingface.co/spaces/ahmadw/GPT-X3-150M-ONNX-demo
• 文件：https://huggingface.co/spaces/ahmadw/GPT-X3-150M-ONNX-demo/tree/main

试用

在浏览器里打开这个 Space，或在它的页面上把它复制到你自己的 Hugging Face 账号。这个工具包里没有会自己运行的东西。