gpt-oss-120b-GGUF

gpt-oss-120b-GGUF

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 gpt-oss-120b 的 GGUF 版本，它是 OpenAI 的 gpt-oss 系列里较大的开放权重模型。它有 117B 参数，每次激活 5.1B。Unsloth 制作了这些文件，并说每个 GGUF 都带有它的修复。F16 文件保留模型的原始精度。

适合谁：想要自己运行和定制一个强力开放推理模型的开发者。4-bit 权重估计约 58.4 GB，所以适合配置充足的机器。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 构建能调用函数和运行代码的智能体 | 让模型为一个请求选择工具
研究 | AI 研究人员 | 研究带可见思维链的推理 | 查看模型如何得出答案
自托管 | 有大型硬件的团队 | 不用托管 API 就运行通用模型 | 在自己的网络里提供服务
定制 | 机器学习工程师 | 针对特定用途微调模型 | 让它适应公司自己的任务

只有小笔记本的人可以跳过这个规模，因为较小的 gpt-oss-20b 才是面向本地使用的。

用在哪里：

• 能加载 GGUF 文件的工具，卡片指向 Unsloth 的指南
• 能放下权重的机器，卡片说原生形式可放进单块 H100 GPU
• 在 Windows、macOS 或 Linux 上用 Python 下载文件

Use case | Who | What they get back
推理任务 | 开发者和研究人员 | 推理深度可调的回答
智能体工作 | 开发者 | 函数调用、网页浏览和 Python 代码执行
结构化输出 | 开发者 | 遵循固定格式的回答

如何设置：

• Python，用于 Hugging Face hub 工具
• 一个能加载 GGUF 文件的运行器
• 你选的文件所需的磁盘空间和内存，4-bit 权重估计约 58.4 GB

1. 用 pip 安装 Hugging Face hub 工具。
2. 用 hf 命令下载文件。
3. 在你的运行器里加载一个文件，参照 Unsloth 的 gpt-oss 指南。

pip install -U huggingface_hub
hf download unsloth/gpt-oss-120b-GGUF

如何使用：卡片给出的部分没有运行命令。模型是用 OpenAI 的 harmony 响应格式训练的，只有用这种格式才能正常工作。聊天模板会替你套用它。你可以把推理强度设为 low、medium 或 high，取决于任务有多难、你能接受多少延迟。

Tool | What it does
Reasoning effort | low、medium 或 high，用深度换速度
Function calling | 让模型调用你定义的函数
Web browsing | 模型可以使用的原生浏览工具
Python execution | 用来运行 Python 代码的原生工具
Structured outputs | 让回答保持固定格式

示例：一位开发者把推理强度设为 high，向模型问一个难题。模型想通后返回答案。完整的思维链可用于调试，但卡片说它不是给最终用户看的。

新手与专家：这是个大模型，所以先在能放下它的机器上做一个小测试。用聊天模板，这样 harmony 格式会替你套用。检查答案，然后调高或调低推理强度。

这个模型是混合专家模型，117B 参数，5.1B 激活。OpenAI 用原生 MXFP4 精度训练它的 MoE 层，所以 120b 模型能放进一块 H100 GPU。这个仓库的 F16 文件保留原始精度，其他文件是更小的量化版本。

用 harmony 格式整理对话
选择推理强度
模型先推理，再回答
工具调用如果有，会以文本形式返回

注意事项：

• Format: 模型只有用 harmony 响应格式才能正常工作。
• Reasoning: 思维链完全可见，用于调试，不是给最终用户看的。
• Sizes: 120b 模型有 117B 参数，较小的 gpt-oss-20b 有 21B，其中 3.6B 处于激活状态。
• License: Apache 2.0，按卡片的说法，没有 copyleft 限制，也没有专利风险。
• Cost to run: 未提及。你需要能放下权重的硬件，来源里没有出现付费服务。
• Data it reaches: 你电脑上的文件。网页浏览和代码执行工具是模型的原生功能。
• Not for: 把原始推理展示给最终用户，以及不用 harmony 格式运行。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：117B
• Weights: about 58.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：81,029
• 点赞：303
• 许可证：apache-2.0
• 基于：openai/gpt-oss-120b
• 标签：transformers, gguf, gpt_oss, text-generation, openai, unsloth, mxfp4, conversational

链接

• 模型：https://huggingface.co/unsloth/gpt-oss-120b-GGUF
• 文件：https://huggingface.co/unsloth/gpt-oss-120b-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gpt-oss-120b-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。