Nanbeige_Nanbeige4.3-33B-GGUF

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Nanbeige4.3-33B 的 GGUF 量化版本，这是 Nanbeige 的一个 33B 文本模型。文件由 bartowski 用 llama.cpp 和重要性矩阵制作。不同的量化等级在文件体积和质量之间取舍。页面列出的语言是英文和中文。

适合谁：适合在自己硬件上用 llama.cpp 或基于它的工具运行大语言模型的人。根据模型卡，这个模型只接收文字，不使用推测解码。

行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在本地运行 33B 模型，而不是用云服务 | 加载一个中等大小的量化版本并用提示词测试
本地 AI | 爱好者 | 选一个适合自己内存的量化版本 | 不确定时选模型卡建议的那个文件
研究 | 模型评测人员 | 比较量化大小与质量 | 在大小两个量化版本上运行同样的提示词
双语工作 | 使用中英文的团队 | 用一个模型处理两种语言 | 用每种语言各问一次同一个问题

如果你的内存有限，可以跳过它。即使是模型卡建议的文件也有大约 21 GB。

用在哪里：

• llama.cpp 以及基于它的工具，适用于 Windows、macOS 和 Linux
• 带 Hugging Face 工具的 Python，用来下载文件
• 能读取下面所示的 ChatML 风格提示词格式的工具

Use case | Who | What they get back
本地聊天 | 爱好者 | 来自你机器上 33B 模型的文字回复
工具调用测试 | 开发者 | 遵循模型卡所示工具调用格式的回复
量化版本对比 | 评测人员 | 跨许多文件的大小与质量取舍

如何设置：选一个文件，而不是整个仓库，因为全部加起来远大于任何一个文件。

• 用于下载的 Python 和 Hugging Face 工具
• 一个基于 llama.cpp 的程序来加载文件
• 所选量化版本需要的内存，大约从 21 GB 起

1. 安装 Hugging Face hub 工具。
2. 从文件列表里选一个量化版本。
3. 下载那个文件。下面的命令会取整个仓库，所以要把它缩小到一个文件。
4. 在 llama.cpp 或类似工具里加载这个文件。

pip install -U huggingface_hub
hf download bartowski/Nanbeige_Nanbeige4.3-33B-GGUF

如何使用：模型卡给出了一种提示词格式，包含系统块、用户块，以及以 think 标签开头的助手回合。它还展示了一个加入工具定义以支持函数调用的变体。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

量化类型 | 大小和用途
bf16 | 66.24 GB，全精度权重，分成多个部分
Q8_0 | 35.20 GB，最大的量化版本，很少需要
Q6_K_L | 30.40 GB，更大的 Q6_K，质量近乎完美
Q6_K | 29.02 GB，质量近乎完美，推荐
Q5_K_M | 25.07 GB，高质量，推荐
Q5_K_S | 23.66 GB，高质量，推荐
Q4_K_L | 22.34 GB，把更敏感的权重保持在更高精度
Q4_1 | 21.20 GB，旧格式
IQ4_NL | 20.87 GB，类似 IQ4_XS，但略大
Q4_K_M | 20.79 GB，大多数场合的默认选择

示例：你下载 Q4_K_M 文件，用上面的提示词格式加载它，并让它为你贴入的一段文字写一个简短摘要。模型会先思考，然后回复摘要。

新手与专家：量化版本是模型的较小副本，数字用更少的比特存储。如果拿不准，就从 Q4_K_M 开始，模型卡称它在大小和性能之间很均衡。内存有富余时升到 Q6_K。

这些量化版本使用了重要性矩阵，源检查点列为 33B 参数。Q4_K_L 文件把更多敏感权重保持在更高精度，模型卡还指出 Q4_1 是旧格式，在 Apple 芯片上每瓦令牌数更好。文件是 bartowski 根据 Nanbeige 的原模型制作的。

选一个适合你内存的量化版本
只下载那一个文件
在 llama.cpp 或类似工具里加载
按所示格式发送提示词

Title: 文件大小，单位 GB
bf16: 66.24 GB
Q8_0: 35.20 GB
Q6_K: 29.02 GB
Q5_K_M: 25.07 GB
Q4_K_M: 20.79 GB

注意事项：

• 看到的文件列表被截断了，所以还有比上面更多的量化版本。
• 页面自己的记录把 4-bit 权重估计为约 16.6 GB。
• 输入只支持文字。
• License: apache-2.0。
• Cost to run: 未提及，你使用自己的硬件。
• Data it reaches: 从 Hugging Face 下载的文件，以及你给它的文字。
• Not for: 图像输入，因为这个模型只接收文字。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：33.1B
• Weights: about 16.6 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：151,191
• 点赞：33
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Nanbeige/Nanbeige4.3-33B
• Fine-tunes: 1
• 标签：gguf, nanbeige, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/bartowski/Nanbeige_Nanbeige4.3-33B-GGUF
• 文件：https://huggingface.co/bartowski/Nanbeige_Nanbeige4.3-33B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/Nanbeige_Nanbeige4.3-33B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。