Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

由 IsValorum 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Axion-1.0-35B 的压缩 GGUF 版本，由 IsValorum 作为 APEX 量化系列的一部分发布。模型的每个部分都按它所需的精度存储，所以整个文件比原版小得多。它面向 llama.cpp，只提供文本模型。

适合谁：适合用 llama.cpp 运行模型，并且想在自己电脑上用大型混合专家模型的人，也适合研究混合精度量化如何安排的人。文件采用 Apache 2.0 许可证。

Industry | Who uses it | How they use it | Example
软件 | 本地模型用户 | 通过 llama.cpp 离线运行 35B 级别的模型 | 在终端里和模型聊天
研究 | 量化研究人员 | 研究每组张量是怎么存储的 | 阅读逐张量的精度表
效率 | 高级用户 | 在个人电脑上保留一个大模型 | 用长上下文起草文字和问答

如果你需要开箱即用的图片输入，可以跳过它，因为这个仓库只有文本文件。

用在哪里：

• llama.cpp，通过它的命令行工具和服务器
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件
• 内存足够放下 14,751,301,312 字节文件的电脑

Use case | Who | What they get back
终端聊天 | 开发者 | 对命令行里输入的提示词给出文字回复
本地服务器 | 应用开发者 | 一个使用文件里聊天模板的运行中的服务器
量化研究 | 研究人员 | 一份逐张量的精度表

如何设置：

• Python 和 huggingface_hub 软件包，用来下载文件
• 能加载 GGUF 文件的较新 llama.cpp 版本
• 为文件留出空间，约 14,751,301,312 字节，而 Hugging Face 估计 4-bit 下为 17.3 GB

1. 如果还没有 Python 和 llama.cpp，先安装。
2. 用下面第一条命令安装 huggingface_hub 软件包。
3. 用第二条命令下载模型文件。
4. 用下一部分里的 llama.cpp 命令之一运行模型。

pip install -U huggingface_hub
hf download IsValorum/Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

如何使用：模型卡给出了两种启动模型的方法。第一种在终端里发送一个单词的提示词，第二种启动一个应用聊天模板的服务器。

llama-cli -m Axion-1.0-35B.APEX-I-MiniPlus-V2.1.gguf -p "Hello" -ngl 99 -c 32768
llama-server -m Axion-1.0-35B.APEX-I-MiniPlus-V2.1.gguf --jinja -ngl 99 -c 32768

Tool | What it does
llama-cli | 用一个提示词在终端里运行一次模型
llama-server | 启动一个服务器，让其他程序可以和模型对话
-c 32768 | 把上下文大小设为 32768 个 token
--jinja | 应用模型自带的聊天模板

示例：你运行 llama-cli 那一行，提示词是 Hello。模型加载后，在终端里打印它的回复。

新手与专家：量化就是用更少的位数存储模型的数字，让它能装进普通硬件。一个好的起步是下载文件，并原样运行 llama-cli 那一行。

模型有 40 层，其中 30 层是线性注意力或 SSM 层，10 层是全注意力层。它在 256 个专家加 1 个共享专家之间做路由，每个 token 激活 8 个，上下文为 262,144 个 token。输出头用 Q6_K，token 嵌入用 Q4_K。共享专家用 Q5_K，归一化和路由器保持 F32。路由专家在边缘层用 Q3_K，在第 10 到 29 层用 IQ3_XXS，并由 mradermacher 提供的重要性矩阵引导。

从 BF16 参考文件开始
应用重要性矩阵
每组张量按各自的精度存储
保存为一个 GGUF 文件
在 llama.cpp 里运行

注意事项：

• License: Apache 2.0
• Cost to run: 未提及
• Data it reaches: 下载时从 Hugging Face 获取文件，来源没有提到其他内容
• 图片输入需要从上游 GGUF 仓库另外获取 mmproj 文件
• 这个文件里没有多 token 预测，所以也没有用来加快生成的草稿模型
• Hugging Face 标注 34.7B 参数，4-bit 估计约 17.3 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：686
• 点赞：4
• 许可证：apache-2.0
• 基于：Axion1-0/Axion-1.0-35B
• 标签：gguf, llama.cpp, quantized, apex, apex-quant, apex-i, axion, imatrix, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/IsValorum/Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF
• 文件：https://huggingface.co/IsValorum/Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download IsValorum/Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。