Nanbeige4.3-33B-INT4

Nanbeige4.3-33B-INT4

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

由 Nanbeige 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Nanbeige4.3-33B 的 INT4 版本，Nanbeige4.3-33B 是一个 330 亿参数的模型，面向编程和专业办公类智能体任务。开发者使用了量化感知训练，包括从 BF16 模型做蒸馏，以及对 INT4 模型本身做强化学习，来在 4 位下保持质量。它支持英语和中文。

适合谁：适合想要 30B 级别的强大开放智能体模型，并且希望它比 BF16 原版占用更少内存的开发者。

Industry | Who uses it | How they use it | Example
软件 | 智能体开发者 | 在本地运行会写代码和会用工具的智能体 | 借助工具修复仓库里的问题
办公 | 自动化开发者 | 处理专业的协同办公任务 | 运行一个自动化基准任务
研究 | 机器学习研究人员 | 研究量化感知训练 | 把 INT4 的表现与 BF16 模型做对比

如果你想要很小的模型，可以跳过，因为 330 亿参数仍然需要性能不错的 GPU。

用在哪里：它在 Windows、macOS 或 Linux 上通过 transformers 库用 Python 运行。模型卡可见部分没有给出运行命令。

• 使用 transformers 的 Python 脚本
• 调用本地模型的智能体框架
• 内存足够运行 4 位 33B 模型的 GPU 机器

Use case | Who | What they get back
智能体编程 | 开发者 | 在终端和仓库任务上测试过的模型
专业协同办公 | 自动化团队 | 在职场、办公和规划任务上测试过的模型
推理 | 研究人员 | 在科学和数学问题上测试过的模型

如何设置：你需要 Python 和 Hugging Face 工具。Hugging Face 自己的记录列出约 132 GB，是按 32 位整数计的，并不能反映真实的 4 位文件大小，所以下载前请先查看文件大小。模型卡可见部分没有给出运行步骤。

• Python 和 Hugging Face 工具
• 内存足够运行 4 位 33B 模型的 GPU
• 磁盘空间，先确认真实的文件大小

1. 安装 Hugging Face 下载工具。
2. 下载仓库文件。
3. 用 transformers 加载模型，并按模型卡了解细节。

pip install -U huggingface_hub
hf download Nanbeige/Nanbeige4.3-33B-INT4

如何使用：通过 transformers 加载模型，把它当作聊天或智能体模型使用。模型卡上的 BF16 结果是在聊天模板里把 preserve_thinking 设为 true 测得的，并且模型使用了最高的思考强度。

Tool | What it does
hf download | 把模型文件下载到你的电脑
transformers | 在 Python 中加载模型

示例：你把模型接到终端智能体上，让它修复仓库里一个失败的测试。它会规划、运行命令、编辑文件并报告结果，这正是模型卡上编程基准所衡量的内容。

新手与专家：如果你是新手，这是被压缩到 4 位的大型开放模型，所以占用内存更少。先读模型卡，从简单的聊天开始，再去搭建智能体。

如果你熟悉这个领域，33B 模型是一个教师模型，用来为更小的 Nanbeige4.3 模型做蒸馏。对于 INT4，从 BF16 模型做在线策略蒸馏，加上对 INT4 模型做强化学习，来恢复质量。模型卡上的基准表是 BF16 模型的。

Nanbeige4.3-33B 的 BF16 模型
量化感知训练
从 BF16 到 INT4 的蒸馏
对 INT4 做强化学习
可在本地使用的 INT4 模型

注意事项：模型卡上的分数是 BF16 的结果，对比的是 Qwen3.8-27B、Muse-Glimmer-30B 和 Gemma4-31B，并不是这个 INT4 副本的测量值。

• License: Apache 2.0
• Cost to run: 没有提到 API 密钥、账号或付费服务，但你需要能运行 33B 模型的 GPU
• Data it reaches: 你在自己机器上给它的提示词，以及从 Hugging Face 下载的文件
• Not for: 把 BF16 的分数当作这个 INT4 副本的证明

Title: BF16 模型在 Terminal-Bench 2.1 上的分数
Nanbeige4.3-33B: 80.9
Qwen3.8-27B: 73.0
Muse-Glimmer-30B: 61.8
Gemma4-31B: 47.2

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：33.1B
• Weights: about 132 GB in I32
• Formats: Safetensors
• 最近 30 天下载：749
• 点赞：10
• 许可证：apache-2.0
• 语言：en, zh
• 基于：Nanbeige/Nanbeige4.3-33B
• 标签：transformers, safetensors, llama, text-generation, nanbeige, conversational, compressed-tensors

链接

• 模型：https://huggingface.co/Nanbeige/Nanbeige4.3-33B-INT4
• 文件：https://huggingface.co/Nanbeige/Nanbeige4.3-33B-INT4/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Nanbeige/Nanbeige4.3-33B-INT4

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。