DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统,有 12 种推理模式和 12 种指令模式,在提示词里切换。2.7B 测试版,供本地运行。
LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download DavidAU/LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
这个仓库放的是 LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,由 DavidAU 修改。它加入了一个叫 Turbo Brilliance 的系统,给模型提供 12 种推理模式和 12 种指令模式。你可以用提示词里的标签、API 或关键词切换,随时换模式。模型约有 2.7B 参数,Hugging Face 估计 4 位时约 1.3 GB。
在自己电脑上运行小模型,并喜欢调设置的人。模型卡把基础模型描述为通用模型,带有工具调用和代理训练。它称这个版本是测试版,所以可能有些粗糙。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 本地 AI | 爱好者 | 运行带可切换模式的小模型 | 对同一个提示词试一个推理模式和一个指令模式 |
| 写作 | 创作者 | 按指定长度起草长文 | 要求写一个长场景,并说明想要的长度 |
| 软件 | 开发者 | 通过本地 API 调用模型 | 在请求里用关键词切换模式 |
| AI 研究 | 爱好者 | 对比不同的量化级别 | 在同一个任务上运行较低和较高的量化版 |
如果你想要一个有文档、有实测基准分数的普通发布版,可以跳过它,因为模型卡是测试版,其中的说法出自作者本人。
| Use case | Who | What they get back |
|---|---|---|
| 聚焦的回答 | 爱好者 | 按你选的推理或指令模式生成的回复 |
| 长输出 | 写作者 | 按模型卡所说,约 2k 到 12k 个 token 或更多的文字 |
| 模式测试 | 爱好者 | 一种对比各个模式表现的方法 |
你需要 Python 和 pip 来下载文件,还需要一个能运行 GGUF 模型的工具。这个页面里的模型卡被截断了,所以完整的运行步骤没有显示。请按你所用工具自己的说明加载 GGUF 文件。
pip install -U huggingface_hub hf download DavidAU/LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
模型卡说,量化级别越高,新模式的表现越好。它点名 MAX 量化版和 BF16 文件是最好的。它还说,要进行多轮对话,就把上下文设为 128k 的最大值。
| Setting | Card's testers | LiquidAI |
|---|---|---|
| Temperature | .5 到 1 | 0.1 |
| Top K | 64 | 50 |
| Repetition penalty | 1,也就是关闭 | 1.1 |
| Top P | 0.95 | 未给出 |
| Min P | 0.05 | 未给出 |
开始聊天,用模型卡列出的标签选一个推理或指令模式。模式列表在模型卡可见部分的下方,请到那里去看。如果需要特定的长度,就写明,因为模型卡说模型会遵守。
| Tool | What it does |
|---|---|
| Reasoning modes | 十二种模式,在模型思考之前让它聚焦 |
| Instruct modes | 十二种直接回答的模式,加到原本没有这种模式的模型上 |
| Help system | 内置在模型里的交互式帮助,用来选模式 |
| Context setting | 建议至少 24,000 个 token,模型最大为 131,000 |
你加载一个量化版,设置好温度和上下文,然后在提示词开头加一个模式标签,要求写一篇指定长度的短故事。模型会按那个模式回答。模型卡说缓存应保持关闭。
如果你是新手,先从 4 位文件开始,照抄模型卡的设置,对一个提示词试一个模式。如果回答感觉偏弱,再换更高的量化版。
对熟悉的人来说,模型卡把这个模式系统描述为在模型开始推理之前注入的指令。它还说基础模型有 2.69B 参数。模型卡对质量的说法出自作者本人,这个页面没有显示修改后模型的基准分数。
LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统,有 12 种推理模式和 12 种指令模式,在提示词里切换。2.7B 测试版,供本地运行。
由 DavidAU 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:这个仓库放的是 LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本,由 DavidAU 修改。它加入了一个叫 Turbo Brilliance 的系统,给模型提供 12 种推理模式和 12 种指令模式。你可以用提示词里的标签、API 或关键词切换,随时换模式。模型约有 2.7B 参数,Hugging Face 估计 4 位时约 1.3 GB。
适合谁:在自己电脑上运行小模型,并喜欢调设置的人。模型卡把基础模型描述为通用模型,带有工具调用和代理训练。它称这个版本是测试版,所以可能有些粗糙。
Title: 谁在用,怎么用
Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 运行带可切换模式的小模型 | 对同一个提示词试一个推理模式和一个指令模式
写作 | 创作者 | 按指定长度起草长文 | 要求写一个长场景,并说明想要的长度
软件 | 开发者 | 通过本地 API 调用模型 | 在请求里用关键词切换模式
AI 研究 | 爱好者 | 对比不同的量化级别 | 在同一个任务上运行较低和较高的量化版
如果你想要一个有文档、有实测基准分数的普通发布版,可以跳过它,因为模型卡是测试版,其中的说法出自作者本人。
用在哪里:
Use case | Who | What they get back
聚焦的回答 | 爱好者 | 按你选的推理或指令模式生成的回复
长输出 | 写作者 | 按模型卡所说,约 2k 到 12k 个 token 或更多的文字
模式测试 | 爱好者 | 一种对比各个模式表现的方法
如何设置:你需要 Python 和 pip 来下载文件,还需要一个能运行 GGUF 模型的工具。这个页面里的模型卡被截断了,所以完整的运行步骤没有显示。请按你所用工具自己的说明加载 GGUF 文件。
pip install -U huggingface_hub
hf download DavidAU/LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
模型卡说,量化级别越高,新模式的表现越好。它点名 MAX 量化版和 BF16 文件是最好的。它还说,要进行多轮对话,就把上下文设为 128k 的最大值。
Title: 模型卡建议的设置
Setting | Card's testers | LiquidAI
Temperature | .5 到 1 | 0.1
Top K | 64 | 50
Repetition penalty | 1,也就是关闭 | 1.1
Top P | 0.95 | 未给出
Min P | 0.05 | 未给出
如何使用:开始聊天,用模型卡列出的标签选一个推理或指令模式。模式列表在模型卡可见部分的下方,请到那里去看。如果需要特定的长度,就写明,因为模型卡说模型会遵守。
Tool | What it does
Reasoning modes | 十二种模式,在模型思考之前让它聚焦
Instruct modes | 十二种直接回答的模式,加到原本没有这种模式的模型上
Help system | 内置在模型里的交互式帮助,用来选模式
Context setting | 建议至少 24,000 个 token,模型最大为 131,000
示例:你加载一个量化版,设置好温度和上下文,然后在提示词开头加一个模式标签,要求写一篇指定长度的短故事。模型会按那个模式回答。模型卡说缓存应保持关闭。
新手与专家:如果你是新手,先从 4 位文件开始,照抄模型卡的设置,对一个提示词试一个模式。如果回答感觉偏弱,再换更高的量化版。
对熟悉的人来说,模型卡把这个模式系统描述为在模型开始推理之前注入的指令。它还说基础模型有 2.69B 参数。模型卡对质量的说法出自作者本人,这个页面没有显示修改后模型的基准分数。
下载一个量化版
在 GGUF 运行工具里加载
设置上下文和采样参数
在提示词里加一个模式标签
阅读回答
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download DavidAU/LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF 本页 | 18,225 | 191 | 2.7B | apache-2.0 | |
| LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF共有 lfm2.5 · liquid · turbo-brilliance | 23,710 | 67 | 8.5B | apache-2.0 | |
| Qwen3.8-2B-Distill-GGUF共有 edge · gguf · text-generation | 509,820 | 184 | 1.9B | apache-2.0 | |
| Qwen3.8-27B Turbo Brilliance NEO MAX MTP GGUF共有 turbo-brilliance · gguf · conversational | 1,053,462 | 303 | 26.9B | apache-2.0 | |
| Qwen3.8 Flash Next Turbo Brilliance 50x GGUF共有 turbo-brilliance · gguf · conversational | 249,926 | 41 | 177B | apache-2.0 | |
| Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X共有 turbo-brilliance · gguf | 477,227 | 57 | 27.3B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。