gpt-oss-20b-GGUF

gpt-oss-20b-GGUF

在你自己的电脑上生成文字，使用 ggml-org 打包的 OpenAI gpt-oss-20b 的 GGUF 版本。适合想在 Llama 应用或终端里本地运行开源 20B 模型的人。

由 ggml-org 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：gpt-oss-20b-GGUF 是 OpenAI gpt-oss-20b 文本生成模型的 GGUF 版本，由 ggml-org 打包。Hugging Face 标注的参数量是 209 亿。模型卡说这些文件是用 ggml-org 自己的转换工具自动转换的，并给出了一个简短的运行方法。

适合谁：适合想在自己电脑上运行开源 20B 文本模型、而不是调用托管服务的人。文件采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 为应用和测试运行本地模型服务器 | 针对这个仓库启动 serve 命令
研究 | 爱好者 | 不借助托管 API 来试用开源模型 | 在 Llama 应用里和模型聊天
教育 | 学生 | 了解本地模型是如何打包和运行的 | 把 GGUF 版本与原模型页面对照

如果你想要基准测试、调优建议或未转换的原始权重，可以跳过它，因为模型卡很简短，这些内容要去源模型那里看。

用在哪里：

• Llama 应用
• 终端，使用 llama serve 命令
• 装有 Python 的 Windows、macOS 或 Linux，用 Hugging Face 自己的步骤复制文件

Use case | Who | What they get back
本地聊天 | 普通用户 | 在你自己机器上生成的回复
本地服务 | 开发者 | 从终端启动的模型接口
离线试用 | 研究人员 | 不需要 API 密钥就能测试的开源模型

如何设置：

• Llama 应用，或终端里的 llama 命令
• Python，只有在你自己复制文件时才需要
• 为权重留出空间，按 4-bit 估计约 10.5 GB

1. 安装 Llama 应用，或确认 llama 命令在你的终端里能用。
2. 运行下面的 serve 命令，它指向这个 Hugging Face 仓库。
3. 也可以用第二段里 Hugging Face 的两条命令自己复制文件。

llama serve -hf ggml-org/gpt-oss-20b-GGUF

pip install -U huggingface_hub
hf download ggml-org/gpt-oss-20b-GGUF

如何使用：在 Llama 应用里打开这个模型，或者在终端里用上面的 serve 命令启动。模型卡没有给出其他设置或提示词，所以你和它聊天的方式就和任何本地文本模型一样。

示例：你用这个仓库运行 serve 命令，然后向运行中的模型提一个问题。它会用生成的文字作答，就像 gpt-oss-20b 模型那样。

新手与专家：GGUF 是一种用于在你自己电脑上运行模型的打包文件格式。一个好的起步是运行一次 serve 命令，看着模型加载。

模型卡列出了两个源模型，即 OpenAI 的 gpt-oss-20b 和 RedHatAI 为它做的 eagle3 推测模型。它没有说明这些文件用的是哪种量化，所以在规划大小之前，请先查看仓库的文件列表。

选择 Llama 应用或终端
用这个仓库运行 llama serve
GGUF 模型加载
发送提示词
阅读生成的回复

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载时从 Hugging Face 获取文件，来源没有提到其他内容
• 模型卡很简短，没有列出基准测试、量化类型或采样设置

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：20.9B
• Weights: about 10.5 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：371,075
• 点赞：200
• 许可证：apache-2.0
• 基于：openai/gpt-oss-20b
• 标签：gguf, quantized, text-generation, conversational

链接

• 模型：https://huggingface.co/ggml-org/gpt-oss-20b-GGUF
• 文件：https://huggingface.co/ggml-org/gpt-oss-20b-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ggml-org/gpt-oss-20b-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。