来自 Hugging Face 的 AI 项目

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

Qwen3.6-27B-GGUF

unsloth · 工具包

在本地处理智能体编码和图文任务，是 Unsloth 提供的 Qwen3.6-27B 的 GGUF 文件，支持思考保留和长上下文。适合运行本地编码智能体的开发者。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Olmo-3-32B-Think-GGUF

unsloth · 工具包

把 32.2B 参数的推理模型 Olmo 3 32B Think 做成 GGUF 文件，可以在你自己的电脑上运行。由 unsloth 打包，适合想本地使用 Apache 2.0 模型的人。

gemma-3-27b-it-GGUF

unsloth · 工具包

用 Google 的 Gemma 3 27B 指令微调模型回答关于文本和图像的问题，提供 Unsloth 制作的 GGUF 文件，可在你自己的电脑上运行。支持 128K 词元上下文。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Unlimited-OCR-2-GGUF

RX5950XT · 工具包

Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件，提供 BF16、Q8_0 和 Q4_K_M，并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行，适合在本地读取扫描和多页文档的人。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

SenseNova-6.8-Code2Video GSQ-RCO GGUF

OliviaRossi · 工具包

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

Joakimpalm-Zen · 工具包

把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件，不是原模型的忠实替身。

humanizer-GGUF

jialinyyzz · 工具包

把 AI 写的英文和中文草稿重写成读起来像真人写的，同时保留数字、日期、名字和引语。一个 12B 模型，以 GGUF 文件提供，可在本地运行。

Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

DavidAU · 工具包

写带有恐怖色彩的小说。这是 Gemma 3 12B instruct 的 GGUF 版本，用恐怖模型生成的 imatrix 量化，适合在本地运行模型的创作者。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

google_gemma-4-31B-it-GGUF

bartowski · 工具包

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

Qwen3.5-35B-A3B-GGUF

unsloth · 工具包

在你自己的机器上读取文字和图片、编写代码并调用工具，使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。