Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

写带有恐怖色彩的小说。这是 Gemma 3 12B instruct 的 GGUF 版本，用恐怖模型生成的 imatrix 量化，适合在本地运行模型的创作者。

由 DavidAU 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 DavidAU 提供的 google/gemma-3-12b-it 的一组 GGUF 量化版本。有两点与众不同。量化使用了用作者的 Grand Horror 16B 模型构建的重要性矩阵，会给输出加上一层恐怖色彩。而且在每个量化版本里，embed 和 output 张量都保持完整的 BF16 精度，作者称之为 maxed。上下文长度为 128k。

适合谁：想要一个偏向黑暗、恐怖风格小说的本地模型，并且愿意自己挑选量化大小的写作者和爱好者。

Industry | Who uses it | How they use it | Example
创意写作 | 小说作者 | 起草带恐怖色彩的场景和故事点子 | 请它写一个鬼故事的开头
游戏写作 | 桌游和游戏设计师 | 生成有氛围的描述和故事线索 | 起草一间鬼屋房间的描述
爱好使用 | 运行本地模型的人 | 尝试不同大小的量化版本并比较色彩 | 用同一个提示词比较 IQ4 文件和 Q6 文件

如果你想要中性的通用回答，可以跳过它，因为这种色彩是在量化时加入的。

用在哪里：GGUF 文件可以在能读取这种格式的本地应用和运行环境里加载。文件可以在 Windows、macOS 或 Linux 上下载。

• 能加载 GGUF 文件的本地运行环境和应用
• Windows、macOS 或 Linux：可以用 Python 获取文件的系统
• 手机和其他小型设备：模型卡建议这类设备用 Q4_0 和 Q5_0 量化版本

Use case | Who | What they get back
恐怖风格小说 | 写作者 | 带有黑暗色彩的故事文字
通用对话 | 普通用户 | 正常的回复，用较大的量化版本效果最好
便携使用 | 手机和设备用户 | 适合有限硬件的较小量化版本

如何设置：你需要 Python 来下载，一个支持 GGUF 的应用，以及足够存放所选量化版本的空间。4-bit 大小约为 5.9 GB，这是估计值。

• 带 pip 的 Python
• 支持 GGUF 的本地应用
• 存放一个量化文件的磁盘空间

1. 安装 Hugging Face hub 库。
2. 下载这些文件，或从仓库里选一个量化文件。
3. 在你的应用里加载它，并设置上下文长度。

pip install -U huggingface_hub
hf download DavidAU/Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

如何使用：选一个符合你目标的量化版本，然后照常输入提示词。模型卡还提供了一个可选的系统提示词，需要按原样粘贴，另有一份关于参数和采样器的单独指南。

Quant types | What the card suggests
IQ3、IQ4XS、IQ4NL、Q4 | 最适合创意工作，恐怖色彩在 IQ4 类型里最浓
Q5、Q6、Q8 | 通用使用
Q4_0、Q5_0 | 便携设备和手机
IQ1、IQ2 | 文件最小，IQ1 勉强可接受，IQ2 可以使用

示例：你加载一个 IQ4XS 文件，要求写一个发生在空灯塔里的故事开头。回复是一小段小说，语气比普通的 Gemma 3 模型更阴暗。

新手与专家：如果你刚接触这类模型，先用 IQ4XS 或 Q4 文件，因为模型卡说恐怖色彩在这里最浓。先试一个简短的故事提示词，再与 Q5 文件对比。

如果你熟悉这个领域，重要性矩阵是用一个恐怖模型构建的，而 Q8 只有 maxed 版本，因为 imatrix 在这个量化上没有作用。作者报告在中等显卡上，IQ4XS 约为每秒 30 个 token。

Gemma 3 12B instruct 基础模型
应用恐怖重要性矩阵
用 maxed 张量量化
你选一个量化版本并开始写作

注意事项：模型卡说这个模型沿用 Gemma 3，并指向一份关于最佳参数和采样器设置的指南。

• License: Gemma
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 模型卡没有提到
• Not for: 中性的通用使用，模型卡建议这种情况用 Q5、Q6 和 Q8 量化版本

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：11.8B
• Weights: about 5.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,805
• 点赞：19
• 许可证：gemma
• 基于：google/gemma-3-12b-it
• 标签：gguf, gemma3, instruct, horror, text-generation, imatrix, conversational

链接

• 模型：https://huggingface.co/DavidAU/Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF
• 文件：https://huggingface.co/DavidAU/Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download DavidAU/Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。