Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布,供本地运行。
LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download DavidAU/LFM2.5-8B-A1B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
这个仓库放的是 LiquidAI 的 LFM2.5-8B-A1B 的 GGUF 版本,由 DavidAU 修改。基础模型是稀疏混合专家模型,有 32 个专家,每次激活其中 4 个,活跃参数约 1B。这个版本加入了一个叫 Turbo Brilliance 的系统,有 12 种推理模式,可以用提示词里的标签、API 或关键词切换。Hugging Face 列出的参数量是 8.5B,4 位时约 4.2 GB。
在自己电脑上运行模型,并喜欢调设置的人。模型卡把基础模型描述为通用模型,带有工具调用和代理训练。它没有说这个版本有多稳定,所以依赖它之前请先测试。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 本地 AI | 爱好者 | 运行带可切换推理模式的稀疏模型 | 对同一个提示词试两种模式,并对比回答 |
| 写作 | 创作者 | 按指定长度起草长文 | 要求写一个长场景,并说明想要的长度 |
| 软件 | 开发者 | 通过本地 API 调用模型 | 在请求里用关键词切换模式 |
| AI 研究 | 爱好者 | 对比量化级别和专家数量 | 在默认和提高后的专家数量下运行同一个任务 |
如果你想要一个有这个版本实测基准分数的普通发布版,可以跳过它,因为模型卡里关于质量和速度的说法出自作者本人。
| Use case | Who | What they get back |
|---|---|---|
| 聚焦的回答 | 爱好者 | 按你选的推理模式生成的回复 |
| 长输出 | 写作者 | 按模型卡所说,约 2k 到 12k 个 token 或更多的文字 |
| 专家调节 | 爱好者 | 通过提高活跃专家数,用速度换质量的一种方法 |
你需要 Python 和 pip 来下载文件,还需要一个能运行 GGUF 模型的工具。这个页面里的模型卡被截断了,所以完整的运行步骤没有显示。请按你所用工具自己的说明加载 GGUF 文件。
pip install -U huggingface_hub hf download DavidAU/LFM2.5-8B-A1B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
模型卡说,量化级别越高,新模式的表现越好。它点名 MAX 量化版和 BF16 文件是最好的。它还说,要进行多轮对话,就把上下文设为 128k 的最大值。
| Setting | Card's testers | LiquidAI |
|---|---|---|
| Temperature | .2 到 1 | 0.2 |
| Top K | 64 | 80 |
| Repetition penalty | 1,也就是关闭 | 1.05 |
| Top P | 0.95 | 未给出 |
| Min P | 0.05 | 未给出 |
开始聊天,用模型卡列出的标签选一个推理模式。模式列表在模型卡可见部分的下方,请到那里去看。如果需要特定的长度,就写明,因为模型卡说模型会遵守。
| Tool | What it does |
|---|---|
| Reasoning modes | 十二种模式,在模型思考之前让它聚焦 |
| Help system | 内置在模型里的交互式帮助,用来选模式 |
| Expert count | 默认激活 32 个里的 4 个,有些模式用 6 个或 8 个 |
| Context setting | 建议至少 24,000 个 token,模型最大为 131,000 |
你加载一个量化版,设置好温度和上下文,然后在提示词开头加一个模式标签,要求写一篇指定长度的短故事。模型会按那个模式回答。模型卡说缓存应保持关闭。
如果你是新手,先从 4 位文件开始,照抄模型卡的设置,对一个提示词试一个模式。如果回答感觉偏弱,再换更高的量化版。
对熟悉的人来说,模型卡说你可以在应用里加载量化版时提高活跃专家数,有些模式需要 6 个或 8 个。它还声称在 RTX 5090 上能达到每秒 400 到 500 个 token。这是作者自己的数字,这个页面没有显示基准分数。
LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本,加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布,供本地运行。
由 DavidAU 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:这个仓库放的是 LiquidAI 的 LFM2.5-8B-A1B 的 GGUF 版本,由 DavidAU 修改。基础模型是稀疏混合专家模型,有 32 个专家,每次激活其中 4 个,活跃参数约 1B。这个版本加入了一个叫 Turbo Brilliance 的系统,有 12 种推理模式,可以用提示词里的标签、API 或关键词切换。Hugging Face 列出的参数量是 8.5B,4 位时约 4.2 GB。
适合谁:在自己电脑上运行模型,并喜欢调设置的人。模型卡把基础模型描述为通用模型,带有工具调用和代理训练。它没有说这个版本有多稳定,所以依赖它之前请先测试。
Title: 谁在用,怎么用
Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 运行带可切换推理模式的稀疏模型 | 对同一个提示词试两种模式,并对比回答
写作 | 创作者 | 按指定长度起草长文 | 要求写一个长场景,并说明想要的长度
软件 | 开发者 | 通过本地 API 调用模型 | 在请求里用关键词切换模式
AI 研究 | 爱好者 | 对比量化级别和专家数量 | 在默认和提高后的专家数量下运行同一个任务
如果你想要一个有这个版本实测基准分数的普通发布版,可以跳过它,因为模型卡里关于质量和速度的说法出自作者本人。
用在哪里:
Use case | Who | What they get back
聚焦的回答 | 爱好者 | 按你选的推理模式生成的回复
长输出 | 写作者 | 按模型卡所说,约 2k 到 12k 个 token 或更多的文字
专家调节 | 爱好者 | 通过提高活跃专家数,用速度换质量的一种方法
如何设置:你需要 Python 和 pip 来下载文件,还需要一个能运行 GGUF 模型的工具。这个页面里的模型卡被截断了,所以完整的运行步骤没有显示。请按你所用工具自己的说明加载 GGUF 文件。
pip install -U huggingface_hub
hf download DavidAU/LFM2.5-8B-A1B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
模型卡说,量化级别越高,新模式的表现越好。它点名 MAX 量化版和 BF16 文件是最好的。它还说,要进行多轮对话,就把上下文设为 128k 的最大值。
Title: 模型卡建议的设置
Setting | Card's testers | LiquidAI
Temperature | .2 到 1 | 0.2
Top K | 64 | 80
Repetition penalty | 1,也就是关闭 | 1.05
Top P | 0.95 | 未给出
Min P | 0.05 | 未给出
如何使用:开始聊天,用模型卡列出的标签选一个推理模式。模式列表在模型卡可见部分的下方,请到那里去看。如果需要特定的长度,就写明,因为模型卡说模型会遵守。
Tool | What it does
Reasoning modes | 十二种模式,在模型思考之前让它聚焦
Help system | 内置在模型里的交互式帮助,用来选模式
Expert count | 默认激活 32 个里的 4 个,有些模式用 6 个或 8 个
Context setting | 建议至少 24,000 个 token,模型最大为 131,000
示例:你加载一个量化版,设置好温度和上下文,然后在提示词开头加一个模式标签,要求写一篇指定长度的短故事。模型会按那个模式回答。模型卡说缓存应保持关闭。
新手与专家:如果你是新手,先从 4 位文件开始,照抄模型卡的设置,对一个提示词试一个模式。如果回答感觉偏弱,再换更高的量化版。
对熟悉的人来说,模型卡说你可以在应用里加载量化版时提高活跃专家数,有些模式需要 6 个或 8 个。它还声称在 RTX 5090 上能达到每秒 400 到 500 个 token。这是作者自己的数字,这个页面没有显示基准分数。
下载一个量化版
在 GGUF 运行工具里加载
设置上下文、采样参数和专家数
在提示词里加一个模式标签
阅读回答
注意事项:
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download DavidAU/LFM2.5-8B-A1B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF 本页 | 23,710 | 67 | 8.5B | apache-2.0 | |
| LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF共有 lfm2.5 · liquid · turbo-brilliance | 18,225 | 191 | 2.7B | apache-2.0 | |
| Qwen3.8-2B-Distill-GGUF共有 edge · gguf · text-generation | 509,820 | 184 | 1.9B | apache-2.0 | |
| Qwen3.8-27B Turbo Brilliance NEO MAX MTP GGUF共有 turbo-brilliance · gguf · conversational | 1,053,462 | 303 | 26.9B | apache-2.0 | |
| Qwen3.8 Flash Next Turbo Brilliance 50x GGUF共有 turbo-brilliance · gguf · conversational | 249,926 | 41 | 177B | apache-2.0 | |
| Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X共有 turbo-brilliance · gguf | 477,227 | 57 | 27.3B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。