开发者 AI 技能与智能体

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

Sherlock-Comms · 工具包

通过 vLLM 和 DFlash2 推测解码来运行 122B 的 Ornith 1.5 模型，输出头保持未量化。适合有 128 GB 内存的 RTX Spark 笔记本。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Qwen3.8-27B-NVFP4

RadixArk · 工具包

Qwen3.8-27B 的预量化 NVFP4 版本，能读取文字、图片和视频并用文字回答，通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

OneJev1.6-4B-GGUF

mradermacher · 工具包

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Qwen3-ASR-1.7B GGUF

cstr · 工具包

用 Qwen3-ASR-1.7B 的量化 GGUF 文件，在 CrispASR 里把语音、歌声和歌曲转成文字或英文。适合想在本地转写 30 种语言和 22 种中文方言的人。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

Underdog-Woof-4B-1.1

ConwayResearch · 工具包

这是一个紧凑的 4.2B 文本生成模型，基于 Qwen 3 4B 后训练，更适配 Underdog 自己的配套环境，并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

google_gemma-4-31B-it-GGUF

bartowski · 工具包

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

Qwen3.8-27B-Quark-AWQ-MXFP4

amd · 工具包

把 Qwen3.8-27B 运行为用 AMD Quark 和 AWQ 做出的更小的 MXFP4 量化版本，通过 vLLM 提供服务。适合想要压缩版 27B 视觉语言模型、并看重公开 GSM8K 分数的开发者。

Granite Speech 5.0 TurboCTC 470M GGUF

vladers · 工具包

把语音转成文字，支持七种语言，是 IBM Granite Speech 5.0 TurboCTC 470M 的量化 GGUF 版本，为 transcribe.cpp 制作。适合想加入本地听写或转录功能的开发者。

YuE2-GGUF

Serveurperso · 工具包

yue2.cpp 的预量化 GGUF 文件，yue2.cpp 是一个 C++ 歌曲生成器，把风格标签和歌词变成立体声音频，并附上它写出的乐谱。适合想在自己电脑上运行的音乐人和爱好者。

GLM-5.3-Flash EXL3 3.5bpw

Mia-AiLab · 工具包

GLM-5.3-Flash 的 EXL3 量化版，156 GB，路由专家更窄，比同一实验室的 4 位版本小约 11%。适合在本地 GPU 上运行大模型的人。

Slonik-27B-oQ8-mtp

kakoka · 工具包

用一个 27B 编码模型帮你编写和修改 PostgreSQL 源代码，8 位量化，可通过 oMLX 在 Apple Silicon Mac 上本地运行。适合想要本地助手的 PostgreSQL 开发者。

K2-Horizon-7B-GGUF

IFM · 工具包

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Ornith-1.5-122B-NVFP4

ornith-ai · 工具包

提供 Ornith-1.5-122B 的 NVFP4 量化副本，这是一个面向单 GPU 使用、在编程测试里表现突出的 122B 混合专家文本模型。适合自己托管大模型的开发者。

AREX-2 GGUF

mradermacher · 工具包

BAAI 的 AREX-2（26.9B）的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行大模型、想挑一个放得进自己内存的尺寸的人。

Kromoss GGUF

molbal · 工具包

Kromoss 的 GGUF 量化副本，Kromoss 是基于 MOSS-Image-Base 微调的 1024 像素文生图模型，用于 ComfyUI。适合想在显存有限的 GPU 上生成图像的画师。

RelayVSR X4 Quants

MATLOWAI · 工具包

RelayVSR 4 倍视频放大器的预量化 Wan 检查点，让它能在 ComfyUI 里用 16 GB 和 24 GB 显卡输出 2560x1408，适合视频剪辑和修复的人。

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

IsValorum · 工具包

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

Qwen3.8-27B-Randean-MXFP4

flechin · 工具包

一个 27B 推理模型，经过微调后倾向于直接回答而不是含糊其辞，并量化为 MXFP4，让 vLLM 能在单块 32 GB GPU 上提供服务，适合运行本地推理和工具调用模型的开发者。

Qwen3.6-35B-A3B GGUF (ShapeLearn Quantized)

byteshape · 工具包

Qwen3.6-35B-A3B 的量化 GGUF 版本，能读图片和文字，有从约 9 GB 起的 CPU 和 GPU 变体，用 ByteShape 的 ShapeLearn 制作。适合运行 llama.cpp 的开发者。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

DeepSeek-V4.1-Flash-1017-NVFP4

nvidia · 工具包

NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本，一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。

Qwen3.5 for ComfyUI

Comfy-Org · 工具包

为 ComfyUI 文本编码器文件夹重新打包的 Qwen3.5 2B、4B 和 9B 模型文件，9B 提供 bf16 和两种量化风格。适合需要 Qwen3.5 文本编码器的 ComfyUI 用户。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

Qwen3.6-35B-A3B-NVFP4

nvidia · 工具包

NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频，可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。

GLM-5.3-Flash-NVFP4

nvidia · 工具包

提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版，这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

whisper.cpp

ggerganov · 工具包

OpenAI 的 Whisper 语音识别模型，转换成 ggml 文件供 whisper.cpp 使用，从 tiny 到 large-v3-turbo 多种尺寸，另有更小的量化版本。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

Qwen3.8-27B-FP8

Qwen · 工具包

用 Qwen3.8-27B 的 FP8 量化权重处理文字、图片和视频，它是带可调思考模式的 27B 稠密模型。适合用 transformers、vLLM 或 SGLang 部署它的开发者。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Qwen3.8-27B GGUF (ShapeLearn Quantized)

byteshape · 工具包

用 ByteShape 的 ShapeLearn 量化出的 Qwen3.8-27B GGUF 文件，提供五种适合不同显卡的版本，在 llama.cpp 里支持图片输入和 MTP 推测解码。适合在自己的显卡上运行它的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

DeepSeek-V4.1-Flash-1017 的 GGUF 版本，有三种很小的尺寸，每个张量用各自的精度量化，适合在有限硬件上运行超大混合专家模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的 GGUF 版本，有四种大小，每个张量用各自的精度量化，并带有支持图片输入的视觉投影文件，适合在本地运行大型混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

Local Model Explorer

LocalLLaMA · 工具包

展示哪些 GGUF 量化模型适合你的显卡、Mac 或 CPU，适合在自己电脑上运行语言模型、想选一个能跑起来的文件的人。

GGUF Model VRAM Calculator

DavidAU · 工具包

在浏览器里运行的静态页面，估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。