Mellum2.1-12B-A2.5B-Thinking-GGUF

Mellum2.1-12B-A2.5B-Thinking-GGUF

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

由 JetBrains 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mellum2.1-12B-A2.5B-Thinking-GGUF 提供 JetBrains 推理模型的 GGUF 格式，共五种大小。模型在给出最终答案之前，会把思考链写在 think 标签之间。仓库里还带有一个 MTP 头，可以在 llama.cpp 里加快生成。

适合谁：适合用 llama.cpp、Ollama 或 LM Studio 在本地运行模型，并且想要一个上下文为 131,072 个 token 的推理模型的开发者和爱好者。文件采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地服务器后面离线运行推理模型 | 让聊天客户端指向本地接口
教育 | 学生和老师 | 针对逻辑或数学问题请它给出推理过程 | 问一个数是不是 2 的幂
研究 | 量化研究人员 | 比较文件大小与和 16 位原版的接近程度 | 阅读每种量化的大小和一致性数字

如果你想要立刻得到简短的回答，可以跳过它，因为模型在回复之前会先花 token 做推理。

用在哪里：

• llama.cpp，通过它的服务器和命令行工具
• Ollama 和 LM Studio，模型卡把它们列为运行环境
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
本地聊天 | 开发者 | 一段推理过程，后面跟着最终答案
本地接口 | 应用开发者 | 一个其他程序可以像调用托管模型那样调用的服务器
更快的生成 | 爱好者 | MTP 草稿文件被接受时更快的输出

如何设置：

• Python 和 huggingface_hub 软件包，用来下载文件
• 一个 GGUF 运行环境，例如 llama.cpp、Ollama 或 LM Studio
• 为一个文件留出空间，按你选的量化，从 7.0 GB 到 24.3 GB 不等

1. 如果还没有 Python 和 GGUF 运行环境，先安装。
2. 用下面第一条命令安装 huggingface_hub 软件包。
3. 用第二条命令下载你想要的那一种量化。模型卡推荐 Q4_K_M。
4. 按下一部分里的命令，用 llama.cpp 运行它。

pip install -U huggingface_hub
hf download JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf --local-dir .

Quantization | Size | Top-token match with BF16
Q8_0 | 12.9 GB | 96.1 percent
Q6_K | 10.9 GB | 93.9 percent
Q4_K_M | 8.1 GB | 88.0 percent
MXFP4_MOE | 7.0 GB | 85.6 percent

如何使用：下面第一条命令会获取所选的量化并提供服务。第二条命令用本地文件运行单个提示词。两条都使用完整的 131,072 个 token 上下文，以及模型卡给出的采样设置。

# Pull and serve in one step (downloads the GGUF automatically; the suffix picks the quantization)
llama-server -hf JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M \
  --ctx-size 131072 \
  --temp 0.6 --top-p 0.95 --top-k 20

# Or run a one-off prompt with a local file
llama-cli -m Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf \
  --ctx-size 131072 \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -p "Is 1024 a power of 2? Explain your reasoning."

Tool | What it does
llama-server | 启动本地服务器，并按量化后缀获取你指定的文件
llama-cli | 对本地文件运行一个提示词并打印回复
--ctx-size 131072 | 把上下文设为模型的完整长度
--spec-type draft-mtp | 把 MTP 头当作草稿，让完整模型只需验证 token

示例：你运行 llama-cli 命令，问 1000 是不是 2 的幂，并要求解释原因。模型先打印它的推理过程，然后给出一个简短的答案。

新手与专家：推理模型会在回答之前先把想法说出来，所以回复更慢，但能看到它的步骤。一个好的起步是下载 Q4_K_M，并运行 llama-cli 命令。

它是一个混合专家模型，有 64 个专家，每个 token 激活 8 个。MTP 头是多出来的一个块，用来猜刚刚采样的那个 token 之后的下一个 token。完整模型会检查每个猜测，所以输出不变，而猜测被接受时速度会提高。

选择一种量化
下载这一个文件
在 llama.cpp、Ollama 或 LM Studio 里运行
模型在 think 标签内思考
随后给出最终答案

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载时从 Hugging Face 获取文件，服务器监听在你自己的电脑上
• 接近程度的数字是在 Wikitext-2 上、512 个 token 的上下文下，对照 BF16 文件测得的
• MTP 头可以作为适用于每种量化的 1.8 GB 草稿文件获取，也可以作为与模型合在一起的 25.2 GB 单个文件

Title: 各量化的文件大小，单位 GB
BF16: 24.3 GB
Q8_0: 12.9 GB
Q6_K: 10.9 GB
Q4_K_M: 8.1 GB
MXFP4_MOE: 7.0 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：12.1B
• Weights: about 6.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：422,635
• 点赞：172
• 许可证：apache-2.0
• 语言：en
• 基于：JetBrains/Mellum2.1-12B-A2.5B-Thinking
• 标签：gguf, mellum, llama.cpp, quantized, thinking, speculative-decoding, text-generation, conversational

链接

• 模型：https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF
• 文件：https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。