Muse Glimmer 30B GGUF

Muse Glimmer 30B GGUF

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Muse Glimmer 是一个 30B 稠密语言模型，带有专用的感知编码器，为消费级硬件上的智能体工作而建。模型卡称它由 Muse Spark 蒸馏而来，在本地运行，不需要云端或网络。这个仓库存放 Unsloth 为它制作的 GGUF 文件。模型输入文字和图片，输出文字。

适合谁：它适合构建在自己机器上运行的智能体的开发者，也适合想要一个能查看截图、图表和文档的助手的人。

行业 | 使用者 | 用法 | 例子
软件 | 智能体开发者 | 运行一个会调用工具并能从失败中恢复的本地智能体 | 工具调用返回错误后重试
生产力 | 高级用户 | 就截图、图表和文档提问 | 根据截图解释一张图表
研究 | 机器学习研究者 | 研究蒸馏出来的智能体模型及其量化版本 | 对比 Unsloth 的量化文件

放不下约 14 GB 的 4 比特权重的人可以跳过。

用在哪里：

• Unsloth，模型卡称可以在其中用开关控制思考来运行
• OpenClaw、Hermes Agent 等智能体框架，以及其他编排模式
• 你自己的机器，不依赖云服务
• Windows、macOS 或 Linux，用 Python 就能下载文件

使用场景 | 谁用 | 得到什么
完成多步任务 | 智能体开发者 | 由若干次工具调用组成的完整工作流
编写和调试代码 | 开发者 | 智能体框架里的代码和修复
阅读截图或图表 | 普通用户 | 对图片内容的文字说明

如何设置：

• 装有 pip 的 Python，用于下载
• 一个能加载 GGUF 文件的运行时，比如 Unsloth
• 约 13.9 GB 的 4 比特权重所需的内存，为估算值

1. 安装 Hugging Face 的 hub 客户端。
2. 下载仓库里的文件。
3. 在 Unsloth 或其他 GGUF 运行时里加载一个量化版本。

pip install -U huggingface_hub
hf download unsloth/Muse-Glimmer-30B-GGUF

如何使用：在 Unsloth 里运行模型，并用它的开关打开或关闭思考。模型卡把量化分析和分步说明指向了 Unsloth 自己的指南。

工具 | 作用
Unsloth | 在本地运行模型，带思考开关
感知编码器 | 让模型同时读文字和图片，每张图最多 4,096 个视觉 token
强度控制 | 在回答质量和速度之间取得平衡
工具调用 | 在长流程里按精确的模式调用函数

示例：你给它一张错误信息的截图，让它找出原因。如果途中某次工具调用失败，模型卡称模型会弄清原因并重试，而不是停下。

新手与专家：把它想成一个能看图、会用工具的本地助手。先在 Unsloth 里问一个普通的文字问题，再试截图。

语言模型是稠密的因果 transformer，有 52 层，隐藏宽度 6656，使用分组查询注意力，32 个查询头和 2 个键值头。注意力按三层局部加一层全局重复，滑动窗口为 2048 个 token。RoPE 只用于局部层。感知编码器是约 1.8B 参数的 ViT-G/14，共 50 层。

文字和图片输入
感知编码器读取图片
30B 模型规划并调用工具
失败的调用被诊断并重试
输出文字

注意事项：

• 上下文：131,072 个 token 或更多
• 语言：用 100 多种语言的数据训练
• 体积：模型卡称含视觉编码器约 29.6B 参数，记录里这些文件列为 27.9B
• 工具调用：Unsloth 的页面称它的 2 比特版本在 Unsloth 里跑过 100 多次工具调用
• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 你给它的文字和图片，模型卡称它不需要网络访问
• Not for: 模型卡中未提及

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：transformers
• 参数量：27.9B
• Weights: about 13.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：692,334
• 点赞：592
• 许可证：apache-2.0
• 基于：meta-models/Muse-Glimmer-30B
• Quantized versions: 2
• 标签：transformers, gguf, unsloth, meta, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF
• 文件：https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/Muse-Glimmer-30B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。