来自 Hugging Face 的 AI 项目

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Qwen3.8-27B-QUASAR-NVFP4

QUASAR-QAT · 工具包

以 4-bit NVFP4 运行 Qwen3.8-27B，仅 19.7 GB，用 QUASAR 方法训练，使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

GLM-5.3-Flash EXL3 4bpw for TensorFold

Mia-AiLab · 工具包

为 TensorFold 准备的 GLM-5.3-Flash 4 位 EXL3 量化版，在大小相同的情况下 KL 散度低于流行的 TR3-4bpw 量化版。适合在 DGX Spark 机器上部署大模型的人。

Qwen3.8-27B-oQ4e-mtp

Jundot · 工具包

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

Joakimpalm-Zen · 工具包

把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件，不是原模型的忠实替身。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Qwen3.5-4B GGUF

bartowski · 工具包

Qwen3.5-4B 的 imatrix GGUF 量化版本，这是一个带 MTP 层的 4.3B 图文模型，4 位文件约 3 GB。适合在本地运行小模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

Cloudflare clef GGUF

bartowski · 工具包

Cloudflare 的 clef 决策模型的静态 GGUF 量化版本，它不写文字，而是一次性为关于某个状态的类型化问题的每个选项打分。适合用 llama.cpp 运行它的开发者。

GLM-5.3-Flash EXL3 3.05bpw

albucino · 工具包

在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash，支持 262,144 词元的上下文，使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

Qwen3.8 Flash Next Turbo Brilliance 50x GGUF

DavidAU · 工具包

DavidAU 制作的 Qwen3.8-Flash-Next 的 GGUF 版本，有 27 种推理模式、27 种指令模式和 15 个可在提示词里切换的 AI 角色。适合有大显卡或大内存的人。

Qwen3.8-27B-AWQ-INT4

cyankiwi · 工具包

cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本，一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB，可在 Transformers、vLLM 或 SGLang 中加载。

Qwen3.6-35B-A3B MTP GGUF

byteshape · 工具包

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Qwen3.5-4B-GLB-3D-Coder-GGUF

mradermacher · 工具包

ccore/Qwen3.5-4B-GLB-3D-Coder（一个 4.2B 模型）的静态 GGUF 量化版本，大小从 2.0 GB 到 8.5 GB，另有两个小型多模态补充文件。由 mradermacher 制作。

Qwen3.6-35B-A3B 2-bit GSQ GGUF

chtisgit · 工具包

用 2-bit GSQ 的 GGUF 转换版运行 35B 的 Qwen 模型，另配一个单独的视觉投影器，供 llama.cpp 使用。适合想在 CPU 或普通显卡上用小文件跑大模型的人。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

DeepSeek-V4.1-Flash-1017 Maya GGUF

peasantsmith · 工具包

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

AREX-2-i1-GGUF

mradermacher · 工具包

BAAI/AREX-2（一个 26.9B 的视觉模型）的加权 GGUF 量化版本，约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。

Needle 2

Cactus-Compute · 工具包

一个 45M 参数的开放模型，用于工具调用、设备操作和结构化提取，打包成一个 14 MB 的二进制文件，约 28 MB 内存即可运行。适合需要在手机、开发板和浏览器上做函数调用的开发者。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Kimi-K3.1-Pro-Coder

Grawnch · 工具包

运行经过深度压缩的 2.8T 参数 Kimi-K3.1-Pro，针对编码和数学做了调校。由 Grawnch 用三层混合比特方案制作，适合拥有高端 GPU 工作站的人。

gemma-4-12B-it-qat-q4_0-gguf

google · 工具包

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

Needle 3

Cactus-Compute · 工具包

Cactus Compute 的小型设备端模型，用于工具调用、结构化提取和文本嵌入，通过 cactus Python 包使用。适合构建本地智能体的开发者。

Qwen2.5-Coder-7B-Instruct-GGUF

Qwen · 工具包

在你自己的电脑上运行 Qwen 的 7B 指令微调编程模型，打包成 GGUF 文件，有八种量化等级。适合想通过 llama.cpp 获得代码帮助的开发者。

Whistle

Cactus-Compute · 工具包

转写七种语言的语音，给出单词时间戳和语音嵌入，模型只有 16.9 MB。一段简短的 Python 脚本就能运行，适合给应用加入语音功能的开发者。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

DeepSeek-V4.1-Flash-1017 的 GGUF 版本，有三种很小的尺寸，每个张量用各自的精度量化，适合在有限硬件上运行超大混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的偏编程 GGUF 版本，去掉了一半专家，把 BF16 的 354 GB 缩到 58.4 GB，同时保留图片输入，适合有大机器、想在本地用编程模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的 GGUF 版本，有四种大小，每个张量用各自的精度量化，并带有支持图片输入的视觉投影文件，适合在本地运行大型混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

QuantBench

prajwalpujari16 · 工具包

一个浏览器工作室，用来探索每个权重低于一字节的 LLM 量化，有帕累托前沿探索器、BitNet 1.58b 位打包寄存器和层敏感度模拟器。适合工程师和学生。

GPT-X3-150M ONNX

ahmadw · 工具包

在 ONNX Runtime 上以五种精度运行 GPT-X3-150M，并比较它们的输出和速度，令牌在 CPU 上流式生成。适合权衡模型大小和质量的开发者。

Weightprint

tardellirs · 工具包

在一个静态页面里，通过比较权重和声明的父模型，测量一次微调改动了什么。适合想核实某个 Hub 模型到底是什么的人。

LLM VRAM Calculator

donaldJJ · 工具包

估算 Hugging Face 模型在任意量化和上下文长度下需要多少显存，拆成权重、KV 缓存和额外开销，并显示哪些 GPU 容量够用。适合计划在本地运行大模型的人。

MLX Model Explorer

mlx-community · 工具包

帮 Mac 用户找到适合自己机器的 MLX 模型和量化版本，是一个静态页面，在任何浏览器里打开即可，不需要安装。