gugujiji_novel-humanize-4b-GGUF

gugujiji_novel-humanize-4b-GGUF

novel-humanize-4b 中文文本模型的量化 GGUF 副本，从完整精度到小体积文件都有。适合想在自己电脑上运行 40 亿参数写作模型的人。

由 bartowski 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 bartowski 用 gugujiji 的 novel-humanize-4b 文本生成模型做出的一组 GGUF 文件。每个文件把原始权重压缩到不同程度，你可以按自己的内存在文件大小和质量之间取舍。

这些文件是用 llama.cpp 和重要性矩阵生成的。模型读入文本并输出文本，Hugging Face 标注的语言是中文。模型卡没有说明训练方式和具体的写作风格，所以名字是判断用途的唯一线索。

适合谁：适合读写中文、想在自己电脑上用小模型，并且愿意自己选文件大小、在支持 GGUF 的程序里加载的人。

Industry | Who uses it | How they use it | Example
出版 | 中文写作者 | 用小型本地模型试写文稿 | 写一个故事场景的初稿
软件 | 开发者 | 在自己开发的应用里运行 4B 模型 | 离线测试中文文本输出
研究 | 爱好者 | 在自己的硬件上对比不同量化大小 | 选出输出还能接受的最小文件
教育 | 学生 | 体验本地语言模型 | 不用云账号就运行模型

如果你需要图像或音频作为输入，可以跳过它，因为只列出了文本输入。

用在哪里：

• llama.cpp 以及基于它的应用，因为这些文件就是用它做出来的。
• 装有 Python 的 Windows、macOS 或 Linux，用 Hugging Face 工具获取文件。
• 内存不大的电脑，可以用较小的文件。

Use case | Who | What they get back
本地起草 | 写作者 | 在自己机器上生成的中文文本
离线测试 | 开发者 | 不用网络就能调用的模型
大小对比 | 折腾党 | 看清文件大小如何改变质量

如何设置：你需要 Python、Hugging Face 工具，以及能加载 GGUF 文件的程序。

• Windows、macOS 或 Linux 上的 Python
• huggingface_hub 包
• 能运行 GGUF 的程序，例如 llama.cpp
• 放得下所选文件的磁盘空间，4 位约 2 GB，完整精度为 8.05GB

1. 安装 Hugging Face 工具。
2. 下载整个仓库，或者选一个文件。
3. 在你的运行程序里加载该文件。

pip install -U huggingface_hub
hf download bartowski/gugujiji_novel-humanize-4b-GGUF

如何使用：加载一个文件，按下面的聊天格式发送提示词，把你自己的文字放在占位符处。模型卡还给出了一个带函数定义的较长变体。

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

模型卡建议大多数人用 Q4_K_M 文件。下面对比了其中几个文件。

Quant | Size | What the card says
bf16 | 8.05GB | 完整精度权重
Q8_0 | 4.28GB | 质量很高，很少需要
Q6_K | 3.52GB | 质量很高，推荐
Q5_K_M | 3.11GB | 质量高，推荐
Q4_K_L | 2.80GB | 把敏感权重保持在更高精度
Q4_K_M | 2.59GB | 大多数人的常用选择
Q4_1 | 2.63GB | 较老的格式，在苹果芯片上更省电

示例：加载 Q4_K_M 文件，在用户位置发一个简短的中文请求，比如让它写几行描写雨天街道的文字。模型会回复一段中文文本。模型卡没有说明它是否适合写小说，所以请自己判断输出。

新手与专家：如果你刚接触，GGUF 文件就是一份模型的单文件副本，本地程序可以直接打开。下载 Q4_K_M 文件，发一个简短的中文请求，看看回复和速度是否适合你的电脑。

对专家来说，这些是用重要性矩阵做的 llama.cpp 量化，模型卡标明不支持推测解码。L 变体把更多敏感权重保持在较高精度，所以体积会大一些。源检查点的参数量标为 4B。

gugujiji 发布 novel-humanize-4b
bartowski 用 llama.cpp 量化它
你下载适合自己内存的文件
本地运行程序加载 GGUF 文件
你按聊天格式发送提示词

注意事项：下面几点说明了限制和成本。

• Purpose: 模型卡只描述了量化过程，没有写明这个模型最擅长什么。
• License: Apache 2.0。
• Cost to run: 没有提到 API 密钥或付费服务。你需要为所选文件准备足够的内存和磁盘。
• Data it reaches: 它读取你发送的文本。下载文件需要连接 Hugging Face。
• Not for: 图像或其他非文本输入，以及推测解码。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：4B
• Weights: about 2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：7,774
• 点赞：5
• 许可证：apache-2.0
• 语言：zh
• 基于：gugujiji/novel-humanize-4b
• 标签：gguf, chinese, novel, rewriting, text-generation, conversational

链接

• 模型：https://huggingface.co/bartowski/gugujiji_novel-humanize-4b-GGUF
• 文件：https://huggingface.co/bartowski/gugujiji_novel-humanize-4b-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download bartowski/gugujiji_novel-humanize-4b-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。