Mellum2.1-12B-A2.5B-Thinking

Mellum2.1-12B-A2.5B-Thinking

12B 混合专家思考模型，激活参数 2.5B，在真实代码仓库中用强化学习训练，面向编程智能体、数学和困难推理。由 JetBrains 打造，上下文 131,072 token。

由 JetBrains 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Mellum2.1 Thinking 是 JetBrains 的推理模型，总参数 12B，每个 token 激活 2.5B。它是 Mellum2 Thinking 的下一版，架构相同，几乎所有改进都来自后训练。强化学习成了主要的训练阶段，其中包括在真实代码仓库里的训练，测试通过时模型会获得奖励。

适合谁：它适合构建编程智能体、或想要一个紧凑的思考模型来处理困难的编程、数学和推理问题的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 构建编程智能体的团队 | 用 vLLM 部署并打开工具调用 | 让它探索一个代码仓库、编辑文件并检查改动
开发者工具 | 编程助手的开发者 | 在困难的编程问题上使用思考模式 | 让它在一个短函数里找出错误并解释修复方法
AI 研究 | 研究强化学习的研究者 | 阅读强化学习如何成为主要训练阶段 | 把它的分数与 Mellum2 对比

如果你想要没有思考阶段的简短回复，可以略过它。

用在哪里：

• vLLM 服务器，带或不带工具调用
• 与兼容 OpenAI 的接口通信的 Python 代码
• 用于在仓库中工作、运行命令和调用工具的智能体方案
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
仓库工作 | 智能体开发者 | 探索代码、编辑文件并检查结果的步骤
困难的编程和数学 | 开发者 | 先推理，再给答案
工具使用 | 自动化团队 | 启用工具解析器的服务器发出的工具调用

如何设置：
你需要先准备：

• Python 和 Hugging Face 命令行
• 能放下约 24.3 GB BF16 权重的 GPU，或 4 位下约 6.1 GB，这只是估算值
• 用于服务示例的 vLLM

1. 用 pip 安装 Hugging Face 工具。
2. 把模型文件下载到你的电脑。
3. 用模型名启动 vLLM 服务。

pip install -U huggingface_hub
hf download JetBrains/Mellum2.1-12B-A2.5B-Thinking

如何使用：
启动一个上下文为 131,072 token、使用 qwen3 推理解析器的 vLLM 服务。如果希望模型调用工具，就加上工具选择参数。然后在 Python 里用 OpenAI 风格的客户端与服务通信。

# Without tool calling
vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \
  --max-model-len 131072 \
  --reasoning-parser qwen3

# With tool calling
vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \
  --max-model-len 131072 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {"role": "user", "content": "Find the bug in this function and explain the fix: def mean(xs): return sum(xs) / len(xs) - 1"},
]

chat_response = client.chat.completions.create(
    model="JetBrains/Mellum2.1-12B-A2.5B-Thinking",
    messages=messages,
    max_tokens=81920,
    temperature=0.6,
    top_p=0.95,
    extra_body={"top_k": 20},
)
print("Chat response:", chat_response)

工具 | 作用
vllm serve | 启动带推理解析器的模型服务，可选工具调用
OpenAI client | 向该服务发送聊天请求并打印响应

示例：你发送一个计算平均值、但最后多减了一的短函数，请它找出错误并给出修复。模型先推理，然后指出多余的减法，并解释如何改正。

新手与专家：第一次尝试可以对本地服务发出上面那个找错误的简短请求。它会让你在答案之前看到思考过程。

对懂行的人来说，这个模型有 28 层，隐藏维度 2304，64 个专家中激活 8 个，用分组查询注意力，32 个查询头和 4 个键值头。每四层中有三层使用 1,024 个 token 的滑动窗口。训练中在真实仓库里用 shell 和文件编辑工具跑了数百万次沙盒尝试，模型卡说这让它的智能体成绩比 Mellum2 大幅提高。

从 Mellum2 的架构出发
用数学、代码、科学和工具任务做强化学习
在真实代码仓库里运行沙盒尝试
测试通过时奖励模型

注意事项：

Title: SWE-bench Verified 得分
Mellum2.1 Thinking: 47.0%
Mellum2 Thinking: 2.0%
Gemma 4 (E4B): 23.0%
Qwen3.5 (9B): 50.0%

Title: 部分得分，越高越好
基准测试 | Mellum2.1 Thinking | Mellum2 Thinking | Qwen3.5 (9B)
LiveCodeBench v6 | 82.0 | 69.4 | 75.4
AIME 25/26 | 83.3 | 60.1 | 86.7
Terminal-Bench 2.1 | 17.4 | 0.6 | 21.7
BFCL v4 | 62.3 | 49.6 | 58.5

• 得分：所有数值都是 JetBrains 自己报告的，用同一条流程在思考模式下测得。
• 上下文：131,072 个 token。
• 即将推出：模型卡列出了面向 llama.cpp、Ollama 和 LM Studio 的 GGUF 版本，以及 vLLM 的 MTP 头。
• 语言：英语。
• License: Apache 2.0
• Cost to run: 没有提到 API 密钥或付费服务。你需要一块 GPU。
• Data it reaches: 它从 Hugging Face 下载文件，示例客户端向你自己运行的服务发送请求，设置来自环境变量。
• Not for: 没有提到。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：12.1B
• Weights: about 24.3 GB in BF16; about 6.1 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：14,512
• 点赞：197
• 许可证：apache-2.0
• 语言：en
• 基于：JetBrains/Mellum2-12B-A2.5B-Base
• Quantized versions: 26
• Fine-tunes: 2
• 标签：transformers, safetensors, mellum, text-generation, conversational, model-index

链接

• 模型：https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking
• 文件：https://huggingface.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download JetBrains/Mellum2.1-12B-A2.5B-Thinking

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。