AREX-2 GGUF

AREX-2 GGUF

BAAI 的 AREX-2（26.9B）的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行大模型、想挑一个放得进自己内存的尺寸的人。

由 mradermacher 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库里是 AREX-2 的 GGUF 量化版本，AREX-2 是 BAAI 的 26.9 billion 参数模型。文件由 mradermacher 制作，有很多尺寸，让你可以在质量和内存之间取舍。模型卡没有说明 AREX-2 本身用来做什么，所以在依赖它之前，请先读 BAAI 自己的模型页面。有两个小的补充文件标注为多模态，这说明可能支持图像输入。

适合谁：适合在自己机器上运行模型、需要一个放得进内存的文件的人。也适合想试用 AREX-2、但不想用完整大小权重的开发者。

Title: 谁会用它
Industry | Who uses it | How they use it | Example
本地 AI | 爱好者 | 在家用电脑上运行大模型 | 选一个放得进内存的中等尺寸版本
软件 | 开发者 | 在基于 GGUF 的工具里测试模型 | 用同样的提示词对比两个量化级别
研究 | 模型评测者 | 检查质量随尺寸如何变化 | 对比 2 位和 8 位的文件

如果你想要原始的完整精度权重，可以跳过这些文件，直接去看基础模型。

用在哪里：GGUF 文件可以在支持 GGUF 格式的工具里加载，比如基于 llama.cpp 的应用。模型卡没有指明具体的工具，所以请确认你的工具能处理这个模型。

• Windows、macOS 或 Linux 上支持 GGUF 的运行器
• 带 pip 的 Python，用 Hugging Face 工具下载文件
• 内存够放下你所选版本的机器

Title: 它能做的事
Use case | Who | What they get back
本地文本生成 | 爱好者 | 在自己硬件上由大模型生成的输出
尺寸对比 | 开发者 | 看清质量和内存的取舍
多模态测试 | 实验者 | 如果补充文件能在你的工具里使用，就可以输入图像

如何设置：你需要带 pip 的 Python 来取文件，以及放得下所选版本的内存。模型卡的表格列出主文件的大小从 10.8 GB 到 28.7 GB。它没有给出运行命令，所以请按你运行器自己的 GGUF 文档操作。

• 带 pip 的 Python
• 支持 GGUF 的运行器
• 放得下所选版本的内存，从 10.8 GB 到 28.7 GB

1. 安装 Hugging Face 的下载工具。
2. 下载整个仓库，或只下载你想要的文件。
3. 在运行器里加载文件。

pip install -U huggingface_hub
hf download mradermacher/AREX-2-GGUF

如何使用：从模型卡的表格里选一个版本，在运行器里加载那个文件。模型卡把 4 位的 Q4_K_S 和 Q4_K_M 标为快且推荐，把 Q8_0 标为质量最好。多部分文件可能需要拼接，模型卡为此指向了另一位作者的指南。多模态补充文件是单独的，在支持它们的工具里与主文件一起加载。

Title: 版本和大小
Build | Size in GB | Notes
Q2_K | 10.8 | 最小的主文件
Q3_K_M | 13.4 | 质量较低
Q4_K_S | 15.7 | 快，推荐
Q4_K_M | 16.6 | 快，推荐
Q6_K | 22.2 | 质量更高
Q8_0 | 28.7 | 快，质量最好
mmproj-Q8_0 | 0.7 | 多模态补充

示例：你的机器有大约 24 GB 空闲内存，所以选了 16.6 GB 的 Q4_K_M。你只下载这一个文件，在 GGUF 运行器里加载。你测试几个提示词，如果想要更高的质量而且内存够，再试 Q6_K。

新手与专家：如果你是新手，量化就是把模型缩小，让它能放进更少的内存，代价是质量略有损失。先从 Q4_K_M 开始，因为模型卡推荐它，再根据你机器能放下多少往上或往下调。

如果你熟悉这个领域，这些是静态量化。模型卡说，同一模型的加权 imatrix 量化在另一个叫 mradermacher/AREX-2-i1-GGUF 的仓库里，而且相近尺寸下，IQ 量化通常比非 IQ 量化更好。这里的 IQ4_XS 文件是 15.3 GB。

你按内存选一个版本
你下载 GGUF 文件
你的运行器加载它
你在本地向模型提问

注意事项：更大的文件保留更多质量，也需要更多内存。模型卡的表格按大小排序，并说明大小不一定等于质量。

Title: 各版本的文件大小，GB
Q2_K: 10.8
Q3_K_M: 13.4
Q4_K_M: 16.6
Q5_K_M: 19.3
Q6_K: 22.2
Q8_0: 28.7

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 来自 Hugging Face 的模型文件，以及你给它的提示词
• Not for: 需要完整精度权重的人，或需要模型卡说明 AREX-2 用途的人，它没有说明

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：8,118
• 点赞：20
• 许可证：apache-2.0
• 语言：en
• 基于：BAAI/AREX-2
• 标签：transformers, gguf, qwen3_5, agent, deep-research, reasoning, tool-use, long-context, self-improvement, safetensors, conversational

链接

• 模型：https://huggingface.co/mradermacher/AREX-2-GGUF
• 文件：https://huggingface.co/mradermacher/AREX-2-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mradermacher/AREX-2-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。