Axion-1.0-35B-GGUF

Axion-1.0-35B-GGUF

提供 Axion-1.0-35B 的 GGUF 文件，这是一个有约 30 亿激活参数的 35B 混合专家模型，面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。

由 prithivMLmods 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Axion-1.0-35B 的 GGUF 文件，它是按 Apache-2.0 许可重建的 Axion 1.0，依照原论文公布的方案做成。它是 35B 混合专家模型，激活参数约 3B。

模型卡称它面向科学推理、信息查找和借助工具解决问题。文件有多种量化大小，从完整的 BF16 到 Q3 类型，另有一个多模态投影文件。

适合谁：它适合想用 llama.cpp 在自己电脑上运行智能体风格推理模型、并且需要让文件大小匹配内存的人。

行业 | 谁在用 | 怎么用 | 例子
研究 | 科学家和学生 | 在本地解推理题 | 解一道速度和时间的应用题
软件 | 开发者 | 测试使用工具的智能体风格模型 | 用 C 写一个链表例程
本地 AI | 爱好者 | 运行一个大小适合自己 GPU 的 35B 模型 | 选 Q4_K_M 文件
硬件测试 | GPU 用户 | 在 Blackwell 显卡上试 MXFP4_MOE 文件 | 测量生成速度

如果你想要适合手机或低内存笔记本的小模型，可以跳过它，因为最小的文件也超过 16 GB。

用在哪里：这些文件在 Windows、macOS 或 Linux 上的 llama.cpp 里运行。模型卡在一块 96 GB 显存的 NVIDIA Blackwell GPU 上测试了 MXFP4_MOE 文件。

• llama.cpp 的 llama-cli
• NVIDIA GPU，其中 MXFP4_MOE 针对 Blackwell 显卡调优
• 标准桌面硬件，配 Q4 到 Q6 文件

用途 | 谁 | 得到什么
推理问题 | 学生 | 带过程的文字回答
代码片段 | 开发者 | 以文字写出的小程序
Blackwell 测试 | GPU 用户 | 用 MXFP4_MOE 文件得到很快的生成

如何设置：你需要带 pip 的 Python 来下载文件，还需要编译好的 llama.cpp。选一个适合你内存的量化文件，因为整个仓库比单个文件大得多。

• 带 pip 的 Python
• 在你机器上编译好的 llama.cpp
• 你所选量化文件的空闲磁盘空间

1. 安装 Hugging Face hub 包。
2. 下载仓库文件，或只下载你要的量化文件。
3. 用那个文件运行 llama-cli。

pip install -U huggingface_hub
hf download prithivMLmods/Axion-1.0-35B-GGUF

如何使用：你用 llama-cli 运行，指定模型路径、GPU 层数、上下文大小和你的提示词。模型卡给出了针对 MXFP4_MOE 文件的这条命令。

./build/bin/llama-cli \
  -m /path/to/models/Axion-1.0-35B.MXFP4_MOE.gguf \
  -ngl 99 \
  -c 16384 \
  --cache-type-k q8_0 \
  --seed 42 \
  -n 8192 \
  -st \
  -p "Your prompt here"

文件 | 大小 | 何时选用
BF16 | 69.4 GB | 你想要完整权重和最好的质量
MXFP4_MOE | 19.8 GB | 你有 NVIDIA Blackwell 显卡
Q3_K_L | 18.1 GB | 内存紧张，质量低一些也行
Q3_K_M | 16.8 GB | 最小的文本文件，质量较低
Q4_K_M | 21.2 GB | 多数场景下的均衡之选
Q5_K_M | 24.7 GB | 你想在标准硬件上要更高的质量
Q6_K | 28.5 GB | 你想要接近完整的质量
mmproj-bf16 | 903 MB | 你需要视觉投影文件

示例：你用一条提示词运行命令，问两根水管一起灌满水箱要多久。模型会回复写出的过程和答案，模型卡的测试用的就是这类提示词。

新手与专家：如果你是新手，选 Q4_K_M 文件，先运行一个简短的问题。模型卡称它是多数场景下的均衡之选。

如果你懂这个领域，这个模型是稀疏混合专家，激活参数约 3B。模型卡指出它没有内置的推测解码。MXFP4_MOE 文件用到 Blackwell 硬件上的 FP4 张量核心。

选一个内存放得下的量化文件
用该文件运行 llama-cli
发送你的提示词
读取文字回答

注意事项：模型卡的测试用了一块 RTX PRO 6000 Blackwell 显卡、16,384 个 token 的上下文和完整的 GPU 卸载。换成其他硬件、提示词和构建版本，速度会有差别。

指标 | 该测试的结果
提示词处理 | 每秒 238.50 个 token
生成 | 每秒 211.70 个 token
GPU 内存峰值 | 19.07 GiB

• License: apache-2.0
• Cost to run: 未提及费用
• Data it reaches: 你下载的文件，以及你输入的提示词
• Not for: 在小型硬件上快速上手，因为最小的文本文件也有 16.8 GB

Hugging Face 上的数据（2026年11月15日）

• 任务：text generation
• 框架：transformers
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：63,538
• 点赞：4
• 许可证：apache-2.0
• 语言：en
• 基于：Axion1-0/Axion-1.0-35B
• 标签：transformers, gguf, agent, tool-use, scientific-reasoning, qwen3_5_moe, mxfp4, llama-cpp, nvfp4, nvidia, llama-cli, nvidia-blackwell

链接

• 模型：https://huggingface.co/prithivMLmods/Axion-1.0-35B-GGUF
• 文件：https://huggingface.co/prithivMLmods/Axion-1.0-35B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download prithivMLmods/Axion-1.0-35B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。