DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
DavidAU 对 27B Qwen 模型的 GGUF 微调版,有可切换的指令和推理模式,以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。
Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download DavidAU/Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X-Reasoning-Instruct-NEO-MAX-MTP-GGUF
这个仓库放的是 DavidAU 制作的一个 27B Qwen 模型的 GGUF 微调版。它加入了 Turbo Brilliance 50X 系统,让你在提示词里选择即时的指令模式,或者从小到大的推理模式。Hugging Face 列出的参数量是 27.3B,4 位时约 13.7 GB,任务类型是图文转文字。
在自己电脑上运行大模型,并喜欢自己选择模型思考多少的人。模型卡说,这些系统只在你提出要求时才启动。否则模型按普通的 Qwen 模式运行。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 本地 AI | 爱好者 | 每个提示词选择短的或长的推理模式 | 用指令模式问一个快速事实,用推理模式解一道谜题 |
| 软件 | 开发者 | 通过本地 API 调用模型 | 在请求里用相同的关键词切换模式 |
| 研究 | 爱好者 | 对比精度级别和模式 | 在 4 位和 8 位下运行同一个任务 |
| 写作 | 创作者 | 用更少的浪费 token 得到聚焦的草稿 | 对同一个提示词先试一个模式,再试第二个模式 |
如果你需要经过审核的基准结果,可以跳过它,因为模型卡里关于质量的说法出自作者本人,而且这个页面只显示了模型卡的一部分。
| Use case | Who | What they get back |
|---|---|---|
| 快速回答 | 爱好者 | 指令模式给出的即时回复 |
| 难题 | 开发者 | 推理模式给出的更长的回答 |
| 模式对比 | 爱好者 | 对同一个提示词,每个模式一个答案 |
你需要 Python 和 pip 来下载文件,还需要一个能运行 GGUF 模型的工具。这个页面里的模型卡被截断了,所以完整的运行步骤和采样设置没有显示。请按你所用工具自己的说明加载 GGUF 文件。
pip install -U huggingface_hub hf download DavidAU/Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X-Reasoning-Instruct-NEO-MAX-MTP-GGUF
把你想要的模式写进提示词,再提问。模型卡说没有按钮,因为模式是在提示词里或通过 API 选择的。模型里内置了一个帮助系统,可以建议哪些模式适合某个任务,以及先后顺序。
| Tool | What it does |
|---|---|
| Instruct modes | 不经过长时间思考,直接给出即时回答 |
| Reasoning modes | 思考一点或思考很多,从小到大 |
| Xhigh modes | 超出默认的 Qwen 推理,还有组合版本 |
| Help system | 就你的任务适合哪种模式给出建议 |
你用指令模式问一个简单的事实问题,立刻得到回复。然后用推理模式问一道难的逻辑题,让模型想得久一点。你对比两个答案,留下合适的那个。
如果你是新手,先用默认设置试 4 位文件。之后再给提示词加一个模式,并对比回答。
对熟悉的人来说,作者报告了这个微调版的 arc-c 和 ARC-E 分数,以及思考 token 的减少。这些数字出自作者本人,这个页面看不到它们背后的表格。请把它们当作需要在你自己的任务上检验的说法。
DavidAU 对 27B Qwen 模型的 GGUF 微调版,有可切换的指令和推理模式,以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。
由 DavidAU 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:这个仓库放的是 DavidAU 制作的一个 27B Qwen 模型的 GGUF 微调版。它加入了 Turbo Brilliance 50X 系统,让你在提示词里选择即时的指令模式,或者从小到大的推理模式。Hugging Face 列出的参数量是 27.3B,4 位时约 13.7 GB,任务类型是图文转文字。
适合谁:在自己电脑上运行大模型,并喜欢自己选择模型思考多少的人。模型卡说,这些系统只在你提出要求时才启动。否则模型按普通的 Qwen 模式运行。
Title: 谁在用,怎么用
Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 每个提示词选择短的或长的推理模式 | 用指令模式问一个快速事实,用推理模式解一道谜题
软件 | 开发者 | 通过本地 API 调用模型 | 在请求里用相同的关键词切换模式
研究 | 爱好者 | 对比精度级别和模式 | 在 4 位和 8 位下运行同一个任务
写作 | 创作者 | 用更少的浪费 token 得到聚焦的草稿 | 对同一个提示词先试一个模式,再试第二个模式
如果你需要经过审核的基准结果,可以跳过它,因为模型卡里关于质量的说法出自作者本人,而且这个页面只显示了模型卡的一部分。
用在哪里:
Use case | Who | What they get back
快速回答 | 爱好者 | 指令模式给出的即时回复
难题 | 开发者 | 推理模式给出的更长的回答
模式对比 | 爱好者 | 对同一个提示词,每个模式一个答案
如何设置:你需要 Python 和 pip 来下载文件,还需要一个能运行 GGUF 模型的工具。这个页面里的模型卡被截断了,所以完整的运行步骤和采样设置没有显示。请按你所用工具自己的说明加载 GGUF 文件。
pip install -U huggingface_hub
hf download DavidAU/Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X-Reasoning-Instruct-NEO-MAX-MTP-GGUF
如何使用:把你想要的模式写进提示词,再提问。模型卡说没有按钮,因为模式是在提示词里或通过 API 选择的。模型里内置了一个帮助系统,可以建议哪些模式适合某个任务,以及先后顺序。
Tool | What it does
Instruct modes | 不经过长时间思考,直接给出即时回答
Reasoning modes | 思考一点或思考很多,从小到大
Xhigh modes | 超出默认的 Qwen 推理,还有组合版本
Help system | 就你的任务适合哪种模式给出建议
示例:你用指令模式问一个简单的事实问题,立刻得到回复。然后用推理模式问一道难的逻辑题,让模型想得久一点。你对比两个答案,留下合适的那个。
新手与专家:如果你是新手,先用默认设置试 4 位文件。之后再给提示词加一个模式,并对比回答。
对熟悉的人来说,作者报告了这个微调版的 arc-c 和 ARC-E 分数,以及思考 token 的减少。这些数字出自作者本人,这个页面看不到它们背后的表格。请把它们当作需要在你自己的任务上检验的说法。
下载一个量化版
在 GGUF 运行工具里加载
在提示词里放入一个模式
提出你的问题
对比各个模式的答案
注意事项:
Title: 作者报告的各精度 arc-c 分数
BF16: 747 pts
8-bit: 744 pts
4-bit: 742 pts
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download DavidAU/Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X-Reasoning-Instruct-NEO-MAX-MTP-GGUF
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X 本页 | 477,227 | 57 | 27.3B | apache-2.0 | |
| Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF共有 coder · creative · story | 372,115 | 342 | 26.9B | apache-2.0 | |
| MN-Violet-Lotus-12B-GGUF共有 creative · story · writing | 19,093 | 112 | 12.2B | cc-by-4.0 | |
| Qwen3.8-27B-CodeForge-3xMerge共有 qwen3_8 · reasoning · qwen3_5 | 113 | 5 | 27.8B | apache-2.0 | |
| Qwen3.8-27B-CodeForge-3xMerge i1 GGUF共有 qwen3_8 · reasoning · gguf | 1,279 | 4 | 27.3B | apache-2.0 | |
| Qwopus3.8-27B-Flash-GGUF共有 qwen3_8 · unsloth · gguf | 2,153 | 248 | 461M | apache-2.0 |
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。