DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
根据文字提示词写作、推理并调用工具,是 OpenAI 的 21B 开放权重模型,可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。
gpt-oss-20b 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download openai/gpt-oss-20b
gpt-oss-20b 是 OpenAI 两个开放权重 gpt-oss 模型里较小的一个。它有 21B 参数,其中 3.6B 为活跃参数,面向更低延迟以及本地或专用场景。它能做推理、函数调用和智能体工作。
适合想要一个能在自己机器上运行、能为单一任务调优或接入智能体的开放模型的开发者。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 开发者 | 在应用背后运行本地模型 | 从你自己的电脑提供服务的聊天功能 |
| AI 工程 | 智能体开发者 | 在智能体里使用函数调用和代码执行 | 能浏览网页并运行 Python 的智能体 |
| 研究 | 机器学习研究者 | 为窄任务微调模型 | 针对某个领域调优的版本 |
想要最大模型的人可以跳过它,因为模型卡把重型生产用途指向 gpt-oss-120b。
| 用途 | 谁用 | 得到什么 |
|---|---|---|
| 本地聊天 | 开发者 | 来自一个在 16 GB 内存内运行的模型的回答 |
| 智能体任务 | 智能体开发者 | 函数调用、网页浏览和 Python 代码执行 |
| 指定强度的推理 | 研究者 | 低、中或高的推理强度,匹配你的延迟需求 |
你需要先准备:
pip install -U huggingface_hub hf download openai/gpt-oss-20b
pip install -U transformers kernels torch
from transformers import pipeline
import torch
model_id = "openai/gpt-oss-20b"
pipe = pipeline(
"text-generation",
model=model_id,
torch_dtype="auto",
device_map="auto",
)
messages = [
{"role": "user", "content": "Explain quantum mechanics clearly and concisely."},
]
outputs = pipe(
messages,
max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])通过 pipeline 发送聊天消息,或者启动服务器再和它聊天。模型需要 harmony 回复格式。Transformers 的聊天模板会替你套用它。用 model.generate 时要你自己套用。
transformers serve transformers chat localhost:8000 --model-name-or-path openai/gpt-oss-20b
| 工具 | 作用 |
|---|---|
| transformers serve | 启动一个兼容 OpenAI 的网络服务器 |
| transformers chat | 与已启动服务的模型开始聊天 |
| vllm serve openai/gpt-oss-20b | 下载模型并启动 vLLM 服务器 |
你给 pipeline 发一条消息,问哈希表如何用三句话说清楚。代码片段会打印结果的最后一条消息。那就是模型的回复,最长 256 个新 token。
开放权重模型就是文件可以下载并自己运行的模型。第一步可以用上面的 pipeline 代码片段,配一个你自己的简短问题。
对专家来说,这个模型是混合专家设计,21B 参数中有 3.6B 是活跃参数。它在后训练时对专家权重做了 MXFP4 量化,模型卡说它所有评测都用了同样的量化。你可以把推理强度设为低、中或高。模型卡还说完整的思维链可用于调试。
根据文字提示词写作、推理并调用工具,是 OpenAI 的 21B 开放权重模型,可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。
由 openai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:gpt-oss-20b 是 OpenAI 两个开放权重 gpt-oss 模型里较小的一个。它有 21B 参数,其中 3.6B 为活跃参数,面向更低延迟以及本地或专用场景。它能做推理、函数调用和智能体工作。
适合谁:适合想要一个能在自己机器上运行、能为单一任务调优或接入智能体的开放模型的开发者。
行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在应用背后运行本地模型 | 从你自己的电脑提供服务的聊天功能
AI 工程 | 智能体开发者 | 在智能体里使用函数调用和代码执行 | 能浏览网页并运行 Python 的智能体
研究 | 机器学习研究者 | 为窄任务微调模型 | 针对某个领域调优的版本
想要最大模型的人可以跳过它,因为模型卡把重型生产用途指向 gpt-oss-120b。
用在哪里:
用途 | 谁用 | 得到什么
本地聊天 | 开发者 | 来自一个在 16 GB 内存内运行的模型的回答
智能体任务 | 智能体开发者 | 函数调用、网页浏览和 Python 代码执行
指定强度的推理 | 研究者 | 低、中或高的推理强度,匹配你的延迟需求
如何设置:
你需要先准备:
pip install -U huggingface_hub
hf download openai/gpt-oss-20b
pip install -U transformers kernels torch
from transformers import pipeline
import torch
model_id = "openai/gpt-oss-20b"
pipe = pipeline(
"text-generation",
model=model_id,
torch_dtype="auto",
device_map="auto",
)
messages = [
{"role": "user", "content": "Explain quantum mechanics clearly and concisely."},
]
outputs = pipe(
messages,
max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])
如何使用:通过 pipeline 发送聊天消息,或者启动服务器再和它聊天。模型需要 harmony 回复格式。Transformers 的聊天模板会替你套用它。用 model.generate 时要你自己套用。
transformers serve
transformers chat localhost:8000 --model-name-or-path openai/gpt-oss-20b
工具 | 作用
transformers serve | 启动一个兼容 OpenAI 的网络服务器
transformers chat | 与已启动服务的模型开始聊天
vllm serve openai/gpt-oss-20b | 下载模型并启动 vLLM 服务器
示例:你给 pipeline 发一条消息,问哈希表如何用三句话说清楚。代码片段会打印结果的最后一条消息。那就是模型的回复,最长 256 个新 token。
新手与专家:开放权重模型就是文件可以下载并自己运行的模型。第一步可以用上面的 pipeline 代码片段,配一个你自己的简短问题。
对专家来说,这个模型是混合专家设计,21B 参数中有 3.6B 是活跃参数。它在后训练时对专家权重做了 MXFP4 量化,模型卡说它所有评测都用了同样的量化。你可以把推理强度设为低、中或高。模型卡还说完整的思维链可用于调试。
你发送一条聊天消息
聊天模板套用 harmony 格式
模型按你选的强度推理
它可能调用工具或写代码
你读到最终回复
注意事项:
Title: 活跃参数
gpt-oss-20b: 3.6 B
gpt-oss-120b: 5.1 B
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download openai/gpt-oss-20b
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| gpt-oss-20b 本页 | 5,685,450 | 5,299 | 20.9B | apache-2.0 | |
| gpt-oss-120b共有 gpt_oss · mxfp4 · 8-bit | 2,435,242 | 5,509 | 117B | apache-2.0 | |
| gpt-oss-safeguard-20b共有 gpt_oss · mxfp4 · 8-bit | 24,325 | 293 | 21.5B | apache-2.0 | |
| gpt-oss-safeguard-120b共有 gpt_oss · mxfp4 · 8-bit | 16,400 | 128 | 117B | apache-2.0 | |
| gpt-oss-120b-GGUF共有 gpt_oss · mxfp4 · text-generation | 81,029 | 303 | 117B | apache-2.0 | |
| Qwen3.8-27B-Quark-AWQ-MXFP4共有 mxfp4 · 8-bit · conversational | 40,258 | 44 | 15.6B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。