gpt-oss-20b-GGUF

gpt-oss-20b-GGUF

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 OpenAI gpt-oss-20b 的 GGUF 副本，gpt-oss-20b 是 gpt-oss 系列里较小的开放权重模型，由 unsloth 制作。它能生成文本、逐步推理并调用函数。模型约有 21B 参数，每次只启用其中的 3.6B。4-bit 权重约 10.5 GB。

适合谁：适合想要在本地运行、而不是通过托管服务使用的推理模型的开发者和爱好者。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在需要函数调用的应用背后运行本地模型 | 一个始终留在开发者电脑上的编程助手
研究 | 机器学习研究人员 | 为专门任务微调模型 | 针对某个领域词汇调优的副本
IT 与运维 | 有隐私要求的团队 | 让提示词留在自己的硬件上 | 一个内部问答工具
教育 | 老师和学生 | 借助完整思维链研究推理模型如何工作 | 展示逐步作答的课堂演示

如果你只想用托管的聊天服务，或者需要更大的 117B 模型，可以跳过它。

用在哪里：

• 装有 Python 的 Windows、macOS 或 Linux，用来获取文件
• 能读取 GGUF 文件的程序，比如 llama.cpp，模型卡感谢它加入了支持
• 需要本地文本模型的你自己的脚本和应用

Use case | Who | What they get back
本地聊天和问答 | 个人 | 在自己电脑上生成的回答
函数调用 | 开发者 | 模型发出的结构化工具调用
微调 | 研究人员 | 适应某项具体工作的模型

如何设置：

• Python，用来运行下载工具
• 4-bit 副本需要约 10.5 GB 的可用磁盘空间
• 约 16 GB 内存，模型卡说这对 20b 模型足够
• 一个能加载 GGUF 文件的程序

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载 GGUF 文件。
3. 在支持 GGUF 的程序里打开这些文件。

pip install -U huggingface_hub
hf download unsloth/gpt-oss-20b-GGUF

如何使用：模型卡说，这个模型是用 harmony 回复格式训练的，不用该格式就无法正常工作，所以请确认你的程序应用了这种格式。你可以把推理强度设为 low、medium 或 high，取决于你更想要速度还是深度。

示例：你在运行这个模型的本地聊天窗口里输入“Plan the steps to migrate a small database and list the risks”。推理强度设为 high 时，模型会逐步分析问题并给出一份计划。它也有完整的思维链，但模型卡说这部分不是给终端用户看的。

新手与专家：先用上面两条命令下载文件，再在支持 GGUF 的应用里加载，用 low 推理强度试一个简短的问题。回答显得浅时再提高强度。

这些权重是 openai/gpt-oss-20b 的量化副本，这是一个混合专家模型，专家层用原生 MXFP4 训练。模型卡说其中一个版本 F32 是 MXFP4 上转为 BF16，没有量化。更小的量化版本以少许精度换取更低的内存占用。

下载 GGUF 文件
在支持 GGUF 的程序中加载
使用 harmony 提示格式
选择 low、medium 或 high 强度
得到带推理的回答

注意事项：

• License: Apache 2.0
• Cost to run: 没有提到费用，但你需要自己的硬件，4-bit 约占 10.5 GB 磁盘
• Data it reaches: 从 Hugging Face 下载文件，之后在你加载它的地方运行
• Not for: 把原始思维链展示给终端用户，模型卡不建议这样做
• Not for: 更大的 gpt-oss-120b，它有自己的模型卡

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：20.9B
• Weights: about 10.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：614,134
• 点赞：909
• 许可证：apache-2.0
• 基于：openai/gpt-oss-20b
• Quantized versions: 3
• Fine-tunes: 1
• 标签：transformers, gguf, gpt_oss, text-generation, openai, unsloth, conversational

链接

• 模型：https://huggingface.co/unsloth/gpt-oss-20b-GGUF
• 文件：https://huggingface.co/unsloth/gpt-oss-20b-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gpt-oss-20b-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。