浏览 AI 技能、智能体和自动化

Kvark-Sparkle-1.0-27B-GGUF

Egzakta · 工具包

KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件，适用于 llama.cpp、Ollama 和 LM Studio，保留了推测解码头。适合在本地运行大模型的人。

Qwen3.8-27B iMatrix NVFP4 MTP GGUF

cdiamond · 工具包

Qwen3.8-27B 的 17.1 GB 混合精度 GGUF，保留了多词元预测层，为 24 GB GPU 上的 256K 上下文和视觉功能调优。适合在 llama.cpp 里本地运行大模型的人。

Qwen3.6-35B-A3B MTP GGUF

byteshape · 工具包

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

Spark-X2.6-1.7B-DSpark-GGUF

XHToken · 工具包

一个小型草稿模型，通过推测解码加速 Spark-X2.6-1.7B，每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。

Qwen3-4B-GGUF

Qwen · 工具包

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Rein-NPC-4B

jmc0 · 工具包

驱动能对话、能在游戏中执行动作（比如出售物品或叫来守卫）、并在压力下保持角色设定的游戏角色。适合使用 llama.cpp 或 LLMUnity 的游戏开发者。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

IsValorum · 工具包

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

Qwen3.8-27B-Ridge-GGUF

empero-ai · 工具包

把 Qwen3.8-27B 压缩成每权重 3.7 位的 GGUF 文件来运行，适合 16 GB 的 GPU，还可选图像输入。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Qwen3.6-35B-A3B 2-bit GSQ GGUF

chtisgit · 工具包

用 2-bit GSQ 的 GGUF 转换版运行 35B 的 Qwen 模型，另配一个单独的视觉投影器，供 llama.cpp 使用。适合想在 CPU 或普通显卡上用小文件跑大模型的人。

Qwen3.6-35B-A3B GGUF (ShapeLearn Quantized)

byteshape · 工具包

Qwen3.6-35B-A3B 的量化 GGUF 版本，能读图片和文字，有从约 9 GB 起的 CPU 和 GPU 变体，用 ByteShape 的 ShapeLearn 制作。适合运行 llama.cpp 的开发者。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。

Qwen3.6-35B-A3B-coding-reap50-GGUF

anik-jha · 工具包

用砍掉一半专家的 Qwen3.6-35B-A3B 写代码，打包成适用于 llama.cpp 的 GGUF 文件。适合想要比完整模型占用更少内存的编程模型的开发者。

Spark-X2.6-4B-DSpark-GGUF

XHToken · 工具包

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。