Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

由 SolsticeAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Nanbeige4.3-33B 的一组 GGUF 文件，Nanbeige4.3-33B 是 Nanbeige LLM Lab 的 33.1B 稠密开放权重模型，由 Solstice-AI 整理发布。文件用重要性矩阵做了量化，这个版本还加入了作者称为 Protium-1.0 的推理协议。模型卡把它定位于软件工程、多文件重构和终端自动化。它列出的语言是英语和中文。

适合谁：它适合想在自己的硬件上运行大型编程模型、并且有强大 GPU 或足够系统内存的开发者。

行业 | 谁在用 | 怎么用 | 例子
软件工程 | 开发者 | 用本地模型重构跨多个文件的代码 | 把一个很长的代码仓库载入大上下文窗口
运维 | 自动化开发者 | 用本地模型驱动命令行任务 | 让模型规划并执行 shell 步骤
本地 AI | 有 24 GB GPU 的爱好者 | 在单张显卡上运行 Q4_K_M 文件 | 用 llama-server 提供服务
研究 | 量化研究人员 | 对比同一个稠密模型的不同量化等级 | 在编程提示词上对比 Q4_K_M 和 Q8_0

如果你的机器 GPU 内存不到 24 GB，系统内存也不多，可以跳过它。

用在哪里：

• llama.cpp，通过 llama-server 运行
• Ollama，通过 Modelfile 运行
• Windows、macOS 或 Linux，用来下载文件
• 统一内存 64 GB 或更多的 Apple Silicon Mac，模型卡建议它们用 Q6_K 文件

用例 | 谁用 | 得到什么
本地编程助手 | 开发者 | 在你自己的机器上由模型给出的代码和解释
整个仓库的分析 | 工程师 | 在最长 524,288 个词元的上下文窗口里得到回答
推理服务器 | 团队 | 一个其他工具可以调用的本地服务器

如何设置：

• Python 和 Hugging Face 的 hub 包，用于下载
• llama.cpp 或 Ollama，用来运行文件
• 与你的量化版本相匹配的内存，见下面的表格

1. 安装 Hugging Face 的 hub 包。
2. 下载模型文件。
3. 选一个适合你硬件的量化版本。
4. 启动 llama-server，或者用 Modelfile 创建一个 Ollama 模型。

pip install -U huggingface_hub
hf download SolsticeAI/Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

量化版本 | 文件大小 | 模型卡建议的硬件 | 用途
Q8_0 | 32.78 GB | 48 GB 或更多显存，或 64 GB 或更多系统内存 | 精度最高的参考档位
Q6_K | 25.31 GB | 32 到 48 GB 显存，或 64 GB 统一内存 | 适合 Apple Silicon 和多 GPU 配置的近乎无损档位
Q5_K_M | 21.89 GB | 24 到 32 GB 显存，或 32 GB 内存 | 生成速度更快的平衡之选
Q4_K_M | 18.67 GB | 单张 24 GB GPU，比如 RTX 3090 或 4090 | 模型卡推荐的默认选项

如何使用：用 Q4_K_M 文件启动 llama-server，或者使用 Ollama 的 Modelfile。模型卡的采样参数是温度 0.6 和 top-p 0.95。

# Recommended baseline: Q4_K_M on 24GB GPU
llama-server \
  --model nanbeige4.3-33b-q4_k_m.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  --ctx-size 65536 \
  -ngl 99 \
  --temp 0.6 \
  --top-p 0.95

用 Ollama 时，用下面这些行创建一个 Modelfile。模型卡里的 Modelfile 可能比这里显示的行数更多。

FROM ./nanbeige4.3-33b-q4_k_m.gguf

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 65536
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"

工具 | 作用
llama-server | 通过 HTTP 在你设置的端口上提供 GGUF 文件的服务
--ctx-size | 设置上下文窗口，模型卡的示例里是 65536 个词元
-ngl | 设置放到 GPU 上的层数，示例里是 99
Modelfile | 告诉 Ollama 加载哪个文件、使用哪些设置

示例：你用 24 GB GPU 上的 Q4_K_M 文件启动 llama-server，然后发一个请求，让它重构一个在多个文件里用到的函数。文字会返回，模型卡说推理内容可能会先出现在 think 块里。

新手与专家：GGUF 是 llama.cpp 和 Ollama 能读取的文件格式。量化版本用更少的比特存储模型，所以文件变小，质量可能下降。第一次可以用 Q4_K_M 文件和上面的 llama-server 命令。

从底层看，这个模型是 52 层的稠密 33.1B 网络，原生上下文是 524,288 个词元。示例命令用 65536 来节省内存。模型卡警告说，量化到 4 比特以下会损害多轮工具调用和语法生成，所以它把 Q4_K_M 当作严肃编程的最低档位。

Nanbeige4.3-33B 原始模型
用重要性矩阵量化成 GGUF
Protium-1.0 推理协议
在 llama-server 或 Ollama 里运行

注意事项：

Title: 每个量化版本的文件大小，单位 GB
Q8_0: 32.78 GB
Q6_K: 25.31 GB
Q5_K_M: 21.89 GB
Q4_K_M: 18.67 GB

• 15.2 GB 的 Q3_K_M 文件放在另一个仓库里，模型卡不建议把它用于智能体式的软件工程或复杂数学。
• 模型卡说近乎无损的质量，但没有给出公开的基准测试数字。
• Protium-1.0 的说明提到用 think 块防止循环推理，以及先给答案、再做逐步检查的习惯。
• License: Apache 2.0
• Cost to run: 未提到，不过模型卡预期推荐的文件需要 24 GB 或更大的 GPU
• Data it reaches: 未提到，因为它在 llama.cpp 或 Ollama 里从本地文件运行
• Not for: 把 Q3_K_M 文件用于智能体式软件工程或复杂数学，以及内存不足以容纳这些大小的机器

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：33.1B
• Weights: about 16.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：767
• 点赞：6
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Nanbeige/Nanbeige4.3-33B
• 标签：gguf, solstice-ai, nanbeige, nanbeige4.3, nanbeige4.3-33b, boss-zhipin, kanzhun, protium, protium-1.0, cognitive-architecture, dynamic-reasoning, objective-gated

链接

• 模型：https://huggingface.co/SolsticeAI/Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium
• 文件：https://huggingface.co/SolsticeAI/Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download SolsticeAI/Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。