Muse Glimmer 30B GGUF

Muse Glimmer 30B GGUF

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

由 meta-models 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 Muse Glimmer 30B 的 GGUF 转换版本，供 llama.cpp 使用。模型卡把这个模型称为带独立感知编码器的 300 亿参数语言模型，为消费级硬件上的智能体任务而做，打算在本地运行，不需要云端。你会得到两个量化文本版本、一个图像编码器文件和一个用于推测解码的可选草稿文件。模型卡把 Meta Superintelligence Lab 列为作者。

适合谁：适合想通过 llama.cpp 在自己机器上运行大型智能体风格模型的人。24 GB 的显卡可以跑较小的文本版本。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
本地 AI | 有 24 GB 显卡的爱好者 | 运行不调用云端的私人助手 | 在同一台电脑上提供模型服务并与它聊天
软件 | 智能体开发者 | 让会用工具的智能体指向本地服务器 | 在你能掌控的模型上测试多步骤任务
研究 | 多模态爱好者 | 用感知编码器加入图像输入 | 把编码器文件和文本版本一起加载

如果你需要完整精度，可以跳过它。这里没有发布 bf16 的 GGUF，模型卡让你去基础仓库获取。

用在哪里：它在 llama.cpp 里运行，使用 llama-server、llama-cli 或 llama-mtmd-cli。模型卡要求构建号为 b10353 或更新。

• Windows、macOS 或 Linux 上的 llama.cpp
• CUDA 显卡、纯 CPU 或 Apple Metal，取决于你怎么构建
• 由 llama-server 提供的 OpenAI 风格聊天接口

Title: 它能做的事
Use case | Who | What they get back
本地聊天和推理 | 有大显卡的人 | 回答，思考过程在单独的字段里返回
图像提问 | 多模态用户 | 加载编码器文件后，得到关于图片的文字回答
更快的生成 | 进阶用户 | 用草稿文件做推测解码

如何设置：先装一个较新的 llama.cpp，因为旧版本根本无法加载这些文件。然后下载你需要的权重，启动服务器。

• llama.cpp b10353 或更新的发布版
• 较小的文本版本约需 17 GB 内存，加上附加文件更多
• 带 pip 的 Python，用于 Hugging Face 工具

1. 下载标记为 b10353 或更新的 llama.cpp 发布版，或者从源码构建。
2. 检查版本号至少是 10353。
3. 下载文本版本和编码器文件。
4. 用模型和编码器启动 llama-server。

./llama-cli --version     # build number must be >= 10353

cd llama.cpp
cmake -B build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build build --config Release -j \
    --target llama-cli llama-mtmd-cli llama-server

pip install huggingface_hub
hf download meta-models/Muse-Glimmer-30B-GGUF \
    --local-dir Muse-Glimmer-30B-GGUF \

先在 它的密钥设置 里填上你自己的值。

如何使用：用文本版本和编码器文件运行 llama-server，然后发送聊天请求。回答出现在 content 字段，思考过程在单独的推理字段里。要加上草稿模型，就用额外的参数传入它的文件。

./build/bin/llama-server \
    -m       Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-KQuant-17GB-Q4_K_M.gguf \
    --mmproj Muse-Glimmer-30B-GGUF/mmproj-Muse-Glimmer-30B-Q4_K_M.gguf \
    -a muse-glimmer-30B \
    -ngl 99 -c 131072 -np 4 \
    --host 127.0.0.1 --port 8080 \
    --jinja \
    --temp 1.0 --top-p 0.95 --top-k 64

    -md Muse-Glimmer-30B-GGUF/dflash-Muse-Glimmer-30B-Q4_K_M.gguf -ngld 99

Title: 文件说明
Tool | What it does
Q4_K_M text build | 主要的文本模型，模型卡建议 24 GB 显卡从它开始
Dynamic Q4_K_XL build | 面向 32 GB 显卡的更高质量文本版本
Perception encoder | 图像输入必需
DFlash drafter | 可选，用于推测解码

示例：你用较小的文本版本和编码器启动 llama-server，问一个简短的算术题。回复里答案在 content 字段，模型的推理过程单独显示。

新手与专家：如果你是新手，这是一个打包成 llama.cpp 能在你自己电脑上运行的文件的大型 AI 模型。先检查你的 llama.cpp 版本，然后单独试一试较小的文本版本。

如果你熟悉这个领域，这些是一个 300 亿参数模型的 4 位 K-quant 版本，带独立的多模态投影器和用于推测解码的草稿模型。文本版本可以单独使用，两个附属文件是可叠加的。这里只发布量化文件。

你安装 llama.cpp b10353 或更新版本
你下载文本版本和编码器
llama-server 把它们加载到你的显卡上
你向服务器发送聊天请求

注意事项：加上编码器和草稿模型后，内存占用会增加。下面的总量包含一个工作上下文。

Title: 文件大小
17 GB text build: 16.8 GB
Dynamic text build: 19.7 GB
Perception encoder: 1.4 GB
DFlash drafter: 1.6 GB

Title: 大致的总内存
Build | Text only | With vision | With vision and drafter
较小版本 | 约 17 GB | 约 19 GB | 约 20 GB
Dynamic 版本 | 约 20 GB | 约 22 GB | 约 23 GB

• License: Apache 2.0
• Cost to run: 未提及，不过较小的版本需要约 24 GB 的显卡
• Data it reaches: 来自 Hugging Face 的模型文件，以及你发给本地服务器的对话
• Not for: 完整精度，或构建号为 b10344 及更早的 llama.cpp

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 参数量：27.9B
• Weights: about 13.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：198,352
• 点赞：393
• 许可证：apache-2.0
• 基于：meta-models/Muse-Glimmer-30B
• Fine-tunes: 2
• 标签：gguf, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/meta-models/Muse-Glimmer-30B-GGUF
• 文件：https://huggingface.co/meta-models/Muse-Glimmer-30B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download meta-models/Muse-Glimmer-30B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。