Arete-27B-GGUF

Arete-27B-GGUF

用六种尺寸的 GGUF 文件运行 Nous Research 的 Arete 27B，这是 Qwen3.8-27B 的微调版，能读文字和图像，并附有实测的质量损失。适合在自己 GPU 上运行大模型的人。

由 AtomicChat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Arete-27B-GGUF 收录 Arete-27B 的量化 GGUF 版本，Arete-27B 是 Nous Research 对 Qwen3.8-27B 的微调。AtomicChat 用 Nous 的原始权重和自己的重要性矩阵制作了这些版本。卡片说，Nous 训练这个模型是为了改变它回答政治敏感问题的方式，细节请看 Nous 的卡片。

适合谁：在本地运行大语言模型、想要一个与显卡匹配的 GGUF 文件并希望每种尺寸都有实测数字的人。

Industry | Who uses it | How they use it | Example
软件开发 | 本地模型用户 | 在自己的 GPU 上离线运行 27B 模型 | 24 GB 显卡上的本地聊天模型
研究 | 模型研究者 | 在同一个模型上对比量化等级 | 查看每个文件的 KL 散度
AI 工具 | 应用构建者 | 通过 llama.cpp 提供模型服务 | 一个回答聊天请求的本地服务器
教育 | 学生 | 研究量化如何在体积和质量之间取舍 | 对比 16.2 GB 和 28.6 GB 的文件

如果你的显卡内存不到约 16 GB，可以跳过它。

用在哪里：

• llama.cpp，通过它的 llama-server 程序
• Atomic Chat，开发方用来在本地离线运行开放权重模型的应用
• 用 Python 取回文件后，在 Windows、macOS 或 Linux 上使用

Use case | Who | What they get back
本地聊天 | 个人用户 | 27B 模型给出的回答，数据不会外传
读图 | 个人用户 | 对图像的描述，需要额外一个视觉文件
量化研究 | 研究者 | 每个文件的大小、KL 散度和 top-1 一致率

如何设置：

• Python 和 pip
• 够放你所选文件的磁盘空间和显存，从 13.6 GB 到 28.6 GB
• llama.cpp，或其他能加载 GGUF 文件的应用

1. 安装 Hugging Face hub 工具。
2. 下载模型文件。
3. 按卡片的表格挑一个适合你显卡的文件，并用它启动服务器。

pip install -U huggingface_hub
hf download AtomicChat/Arete-27B-GGUF

如何使用：用你选的文件启动 llama-server。聊天模板存放在每个文件里，llama.cpp 会自动应用。思考默认开启，你可以用一个模板选项把它关掉或缩短。

llama-server -m Arete-27B-AD-Q4_K_M.gguf -ngl 99 -c 8192

# no thinking
llama-server -m Arete-27B-AD-Q4_K_M.gguf -ngl 99 -c 8192 --chat-template-kwargs '{"enable_thinking": false}'

# shorter thinking
llama-server -m Arete-27B-AD-Q4_K_M.gguf -ngl 99 -c 8192 --chat-template-kwargs '{"reasoning_effort": "low"}'

推理强度可以是默认的 xhigh、medium 或 low。取值 high 会让模板报错而停止。

Tool | What it does
llama-server | 用所选的 GGUF 文件提供聊天服务
enable_thinking | 设为 false 时关闭思考的模板选项
reasoning_effort | 设定模型思考多久的模板选项

示例：你在 24 GB 显卡上用 Q4_K_M 文件启动 llama-server，并发给它一个聊天问题。开启思考时，模型先推理再回答。关闭思考则直接给出回答。

新手与专家：如果你刚接触 GGUF，先按卡片的表格把文件和你的显存对上，再启动 llama-server 开始聊天。如果相邻的两个文件都放得下，卡片建议选较大的那个。

卡片里的数字都是实测的，不是估算。KL 散度衡量一个文件的输出分布相对完整模型偏移了多少。top-1 是该文件与完整模型选中同一个下一个词的比例。AD 文件采用 Atomic Dynamic 布局，以两个最大张量组的类型命名。上下文里的每个 token 会让模型多占 64 KB 的注意力缓存，所以除了文件，也要为上下文规划内存。它没有多 token 预测头。

挑一个适合你显卡的文件
用它启动 llama-server
聊天模板自动生效
聊天，思考可开可关

注意事项：

• 尺寸：文件从 13.6 GB 到 28.6 GB，更大的上下文需要更多内存
• 质量：文件越小，偏离原始权重越远

Title: 与原始权重的 top-1 一致率，单位百分比
Q8_0: 98.87 %
AD-Q6_K: 98.58 %
AD-Q5_K_M: 97.48 %
AD-Q4_K_M: 95.89 %
AD-IQ4_XS: 95.60 %
AD-IQ3_S: 92.31 %

• License: Apache-2.0
• Cost to run: 没有提到 API 密钥或付费服务，只需要你自己的 GPU
• Data it reaches: 下载会取回模型文件，聊天在你自己的机器上本地运行
• Not for: 显存不到约 16 GB 的显卡，以及发送推理强度 high 的客户端，那样得不到回复

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：gguf
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,933
• 点赞：15
• 许可证：apache-2.0
• 基于：NousResearch/Arete-27B
• 标签：gguf, llama.cpp, arete, nousresearch, imatrix, quantized, conversational, atomic-chat, image-text-to-text

链接

• 模型：https://huggingface.co/AtomicChat/Arete-27B-GGUF
• 文件：https://huggingface.co/AtomicChat/Arete-27B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download AtomicChat/Arete-27B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。