Hemmingway-1.5 GGUF

Hemmingway-1.5 GGUF

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库存放 HemmingwayAI 的 Hemmingway-1.5 的 GGUF 量化版本，这是一个 27B 的文本模型。有第三方用 llama.cpp 和重要性矩阵制作了这些文件。模型卡列出了文本输入，并支持 MTP 推测解码。它没有说明原模型是用来做什么的，所以在依赖它之前，请先看一下原模型的页面。

适合谁：它适合运行大型本地模型、又想要比完整权重更小的文件的人。你可以按内存选择大小。

行业 | 谁在用 | 怎么用 | 例子
本地 AI | 爱好者 | 在大内存台式机上运行 27B 模型 | 用 Q4_K_M 文件聊天
软件 | 开发者 | 测试大模型的输出和它的工具调用格式 | 试一试工具提示格式
研究 | 模型评估人员 | 比较同一个模型的不同量化大小 | 把一种大小和另一种比较测量
速度测试 | 工程师 | 试用基于 MTP 的推测解码 | 比较开启与关闭时的速度

如果你需要商用，可以跳过它，因为它的许可证是非商业的。

用在哪里：你在基于 llama.cpp、能读取 GGUF 的工具里加载一个文件。

• llama.cpp，这些文件就是用它制作的
• 其他支持这个模型的、能读取 GGUF 的应用
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

场景 | 适合谁 | 得到什么
本地聊天 | 爱好者 | 你自己机器上 27B 模型给出的回复
工具调用 | 开发者 | 模型卡里 XML 风格格式的函数调用
推测解码 | 工程师 | 通过 MTP 加快生成，前提是运行时支持

如何设置：你需要足够放下所选文件的内存，以及支持这个模型的运行时。仓库里有很多大文件，所以只下载一个，而不是全部。

• 支持 GGUF 的运行时
• 一个适合你内存的文件，模型卡的默认推荐是 Q4_K_M
• Python，仅用于 Hugging Face 下载命令

1. 从表里选一个文件。
2. 从仓库下载它。
3. 加载它，并使用下面的提示格式。

Title: 模型卡里的部分文件
量化类型 | 大小 | 用途
bf16 | 54.66 GB | 完整权重，分成多个部分存放
Q8_0 | 29.12 GB | 质量最高，多数人用不到这么高
Q6_K_L | 24.96 GB | 近乎完美的质量，推荐
Q6_K | 23.86 GB | 近乎完美的质量，推荐
Q5_K_M | 20.92 GB | 高质量，推荐
Q4_K_M | 17.44 GB | 良好的平衡，模型卡的默认选择

pip install -U huggingface_hub
hf download bartowski/HemmingwayAI_Hemmingway-1.5-GGUF

如何使用：把每次对话包进下面的格式里。系统块以一行推理强度说明开头，助手回合以一个 think 标签开始。模型卡还给出了第二种带工具定义的格式。

<|im_start|>system
Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.

{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

示例：你加载 Q4_K_M 文件，填一条简短的系统提示词，请它给出一份每周备餐的简短计划。模型会先打开它的 think 块，把请求想一遍，然后写出这份计划。

新手与专家：量化文件用更粗的方式存储模型的数字来节省空间。先从 Q4_K_M 开始，按上面的格式发送一条简短的提示词，看看它怎么回答。

对行家来说，这些文件用 llama.cpp 的 b11969 版本、通过重要性矩阵构建。模型卡标明支持 MTP 推测解码，并指向了专门的一节。提示格式要求模型在回答之前以最高的强度进行推理。

原始模型被转换成 GGUF
重要性矩阵指导量化
写出从 bf16 到更小的多种大小
你下载一个适合你内存的文件
你加载它，并按这个格式发送提示词

注意事项：bf16 文件是分成多个部分的。Hugging Face 估计 4 位权重约 13.7 GB，而模型卡里列出的 Q4_K_M 文件是 17.44 GB。

Title: 各量化类型的文件大小
bf16: 54.66 GB
Q8_0: 29.12 GB
Q6_K_L: 24.96 GB
Q6_K: 23.86 GB
Q5_K_M: 20.92 GB
Q4_K_M: 17.44 GB

• License: CC BY-NC 4.0，属于非商业许可
• Cost to run: 未提及
• Data it reaches: 你的提示词（在本地运行），以及你下载的文件
• Not for: 商业用途，或仅凭这张模型卡就想弄清模型用途的人

Hugging Face 上的数据（2026年11月14日）

• 任务：text generation
• 参数量：27.3B
• Weights: about 13.7 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：13,596
• 点赞：17
• 许可证：cc-by-nc-4.0
• 语言：en
• 基于：HemmingwayAI/Hemmingway-1.5
• 标签：gguf, qwen3.8, chat, creative-writing, humanizer, hemmingway, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/bartowski/HemmingwayAI_Hemmingway-1.5-GGUF
• 文件：https://huggingface.co/bartowski/HemmingwayAI_Hemmingway-1.5-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/HemmingwayAI_Hemmingway-1.5-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。