AREX-2-i1-GGUF

AREX-2-i1-GGUF

BAAI/AREX-2（一个 26.9B 的视觉模型）的加权 GGUF 量化版本，约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。

由 mradermacher 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 BAAI/AREX-2 的加权 GGUF 量化版本，模型卡称它是一个 26.9B 的视觉模型。量化会缩小权重，让模型能装进更小的硬件，代价是质量有所下降。清单里约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个 0.1 GB 的 imatrix 文件，用来制作你自己的量化版本。模型卡没有说 AREX-2 本身是做什么用的，所以请也看看基础模型的页面。

适合谁：它适合在本地运行模型、需要一个按自己内存挑选大小的 AREX-2 版本的人，也适合比较量化级别的爱好者。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 有强大 GPU 或大量内存的爱好者 | 以更小的形式在本地运行 26.9B 的视觉模型 | 选择模型卡推荐的 Q4_K_M 文件
模型研究 | 比较量化的人 | 在不同类型之间权衡质量和大小 | 按模型卡的建议，把一个 IQ 文件与大小相近的 Q 文件比较
模型打包 | 制作自己量化版本的人 | 从 imatrix 文件开始 | 用 0.1 GB 的 imatrix 文件构建一个自定义量化版本

如果你想要原始的全精度模型或静态量化版本，请去它们各自的仓库。

用在哪里：

• 能加载 GGUF 文件的本地运行器
• 内存足够放下你所选文件的电脑，大小从约 7.2 GB 到 22.2 GB
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用途 | 谁用 | 能得到什么
本地测试 | 爱好者 | 一个可以在你的运行器里加载的 GGUF 文件
大小比较 | 研究者 | 同一个模型的多种量化类型可以比较
自定义量化 | 打包者 | 一个用来构建你自己量化版本的 imatrix 文件

如何设置：
你需要先准备：

• Python 和 Hugging Face 命令行
• 一个能加载 GGUF 文件的运行器
• 放你所选文件的空闲空间，在 7.2 到 22.2 GB 之间

1. 从下面的表里选一个量化类型。
2. 从仓库的文件列表里只下载那一个文件。
3. 在你的 GGUF 运行器里加载它。

pip install -U huggingface_hub
hf download mradermacher/AREX-2-i1-GGUF

这条命令会获取所有文件，所以如果只要一个量化版本，请改为在模型页面的文件列表里挑选那个文件。

如何使用：
模型卡没有给出运行命令。它把你指向 TheBloke 的 README，了解如何使用 GGUF 文件，包括如何合并分成多个部分的文件。因为这是一个视觉模型，所有 mmproj 文件都在单独的静态仓库里。

Title: 部分量化版本
类型 | 大小，单位 GB | 模型卡的备注
IQ1_S | 7.2 | 内存很小时的最后手段
Q2_K_S | 10.3 | 模型卡说质量差
IQ3_M | 12.7 | 没有给出
Q4_K_S | 15.7 | 模型卡认为大小、速度和质量搭配最好的
Q4_K_M | 16.6 | 速度快，模型卡推荐
Q6_K | 22.2 | 接近静态的 Q6_K

部分 | 作用
imatrix 文件 | 一个 0.1 GB 的文件，用来制作你自己的量化版本
i1 量化版本 | 借助 imatrix 制作的加权量化版本
静态仓库 | 存放静态量化版本和视觉部分所需的 mmproj 文件

示例：你选择模型卡推荐的 16.6 GB 的 Q4_K_M 文件，并在你的 GGUF 运行器里加载它。如果你需要视觉部分，还要从静态仓库获取 mmproj 文件。

新手与专家：第一次尝试可以用 Q4_K_M，因为模型卡推荐它。如果你的内存不够，就降一档。模型卡说，IQ 类型往往比大小相近的非 IQ 类型更值得选。

对懂行的人来说，i1 文件是借助重要性矩阵制作的加权量化版本，清单按大小排序，而不是按质量排序。对某些类型，模型卡会点出更好的邻居。它说 IQ3_S 胜过 Q3_K 类型，IQ3_XS 大概比 Q3_K_S 更好。提供 imatrix 文件，是为了让你制作自己的量化版本。模型卡还指向比较低质量量化类型的图表，以及 Artefact2 的一些看法。

BAAI/AREX-2 是原始模型
用 imatrix 转换并量化它
你从清单里选一个大小
你的运行器加载 GGUF 文件

注意事项：

Title: 文件大小，单位 GB
IQ1_S: 7.2 GB
IQ2_M: 10.1 GB
IQ3_M: 12.7 GB
Q4_K_S: 15.7 GB
Q4_K_M: 16.6 GB
Q5_K_M: 19.3 GB
Q6_K: 22.2 GB

• 顺序：清单按大小排序，而不是按质量。
• 质量：模型卡警告说，最小的文件和几种中等大小的类型质量会较低。
• 视觉：这是一个视觉模型，所有 mmproj 文件都在静态仓库里。
• 基础模型：BAAI/AREX-2，请阅读它自己的页面了解预期用途。
• 请求：作者接受为其他模型做量化的请求，通过模型卡指向的一个页面提交。
• License: apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务。你需要放得下所选文件的内存。
• Data it reaches: 它从 Hugging Face 下载文件。
• Not for: 期望最小的文件达到原始模型的质量。

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: Safetensors, GGUF
• 最近 30 天下载：2,207
• 点赞：11
• 许可证：apache-2.0
• 语言：en
• 基于：BAAI/AREX-2
• 标签：transformers, gguf, qwen3_5, agent, deep-research, reasoning, tool-use, long-context, self-improvement, safetensors, imatrix, conversational

链接

• 模型：https://huggingface.co/mradermacher/AREX-2-i1-GGUF
• 文件：https://huggingface.co/mradermacher/AREX-2-i1-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mradermacher/AREX-2-i1-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。