来自 Hugging Face 的 AI 项目

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Rein-NPC-4B

jmc0 · 工具包

驱动能对话、能在游戏中执行动作（比如出售物品或叫来守卫）、并在压力下保持角色设定的游戏角色。适合使用 llama.cpp 或 LLMUnity 的游戏开发者。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

IsValorum · 工具包

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

SmolLM2-135M-Instruct

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合需要在 Python 或 JavaScript 中使用微型聊天模型的开发者。

SmolLM2-1.7B-Instruct

HuggingFaceTB · 工具包

聊天、改写和总结文本，还能调用函数，是一个小到可以在设备上运行的 1.7B 紧凑模型。这是 HuggingFaceTB 经过指令微调的 SmolLM2，适合想要小型英文模型的开发者。

gpt-oss-20b-GGUF

ggml-org · 工具包

在你自己的电脑上生成文字，使用 ggml-org 打包的 OpenAI gpt-oss-20b 的 GGUF 版本。适合想在 Llama 应用或终端里本地运行开源 20B 模型的人。

Qwen3.8-27B-Ridge-GGUF

empero-ai · 工具包

把 Qwen3.8-27B 压缩成每权重 3.7 位的 GGUF 文件来运行，适合 16 GB 的 GPU，还可选图像输入。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Qwen3.6-35B-A3B 2-bit GSQ GGUF

chtisgit · 工具包

用 2-bit GSQ 的 GGUF 转换版运行 35B 的 Qwen 模型，另配一个单独的视觉投影器，供 llama.cpp 使用。适合想在 CPU 或普通显卡上用小文件跑大模型的人。

Qwen3.6-35B-A3B GGUF (ShapeLearn Quantized)

byteshape · 工具包

Qwen3.6-35B-A3B 的量化 GGUF 版本，能读图片和文字，有从约 9 GB 起的 CPU 和 GPU 变体，用 ByteShape 的 ShapeLearn 制作。适合运行 llama.cpp 的开发者。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。

Qwen3.6-35B-A3B-coding-reap50-GGUF

anik-jha · 工具包

用砍掉一半专家的 Qwen3.6-35B-A3B 写代码，打包成适用于 llama.cpp 的 GGUF 文件。适合想要比完整模型占用更少内存的编程模型的开发者。

Spark-X2.6-4B-DSpark-GGUF

XHToken · 工具包

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

DeepSeek-V4.1-Flash-1017-exl3

turboderp · 工具包

在 ExLlamaV3 里以每权重 1.68、2.25 或 2.68 比特运行压缩后的 DeepSeek-V4.1-Flash-1017。适合在自己的硬件上运行大模型、想少占内存的人。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

MiniCPM5-2B-GGUF

openbmb · 工具包

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

ttf-Qwen3.8-Flash-Next-GGUF

oguzeldereli · 工具包

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

Hermes 3 Llama-3.1 8B

NousResearch · 工具包

Nous Research 基于 Llama 3.1 的 8B 通用对话模型，支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Sage-A1.5 GGUF (Q4_K_M)

InternScience · 工具包

以 4-bit GGUF 文件运行 Sage-A1.5，这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展，适用于 llama.cpp、Ollama 和 LM Studio。

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

CherryPit-1.2-2B

DRUPEs · 工具包

基于 MiniCPM5-2B 的 2B 编程和聊天模型，在需要多个功能合在一个组件里的网页应用上进步很大。适合想要本地小型代码模型的开发者。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

TinyLlama-1.1B-Chat-v1.0

TinyLlama · 工具包

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

Llama-V-JEPA-LM-Qwen3-4B

kkt94 · 工具包

用一个 5.1B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-4B-Instruct-2507 上，适合有 16 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Qwen3-1.7B

kkt94 · 工具包

用一个 2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-1.7B 上，适合只有一块普通 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-3B

kkt94 · 工具包

用一个 4.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-3B-Instruct 上，适合只有一块 12 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-1B

kkt94 · 工具包

用一个 1.5B 的小模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-1B-Instruct 上，适合只有一块普通 GPU 的人。

Qwen3.5-0.8B Astra Weight Edit

JonathanColetti · 工具包

直接编辑两个权重张量，不经训练，修复 Qwen3.5-0.8B 在思考模式下陷入的重复循环。这是一个小型图文模型，可用于 Transformers、vLLM、llama.cpp 和浏览器。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Bielik-11B-v3.1-Instruct GGUF

speakleash · 工具包

能用波兰语、英语和另外六种语言回答的聊天模型，打包成五种大小的 GGUF 文件，供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。

Llama-V-JEPA-LM-Llama3.1-8B

kkt94 · 工具包

把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上，用来回答关于视频片段的问题，适合做视频理解的人。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

Llama-V-JEPA-LM-Qwen3-8B

kkt94 · 工具包

用一个 9.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Qwen3-8B 上，适合有 24 GB 以上 GPU 的人。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。