浏览 AI 技能、智能体和自动化

ibnsina-1.5b

ibnsina-llm · 工具包

一个小型波斯语语言模型，可离线写作、摘要、翻译和聊天，主要用波斯语文本从零训练。可通过 ollama、LM Studio 或 llama.cpp 在笔记本上运行。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

phonon-31m English for llama.cpp

gradium · 工具包

在命令行或本地服务器上把英语文字转成语音，是 Phonon 31M 模型面向 llama.cpp 的 GGUF 版本。适合已经在用带 Phonon 支持的 llama.cpp 的开发者。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

Clef-GGUF

ggml-org · 工具包

Cloudflare 的 Clef 决策模型的 GGUF 文件，支持图像和文本输入。用 llama.cpp 工具提供服务，通过决策 API 路径调用。适合在自己机器上运行它的开发者。

theOG-50M

DrunkkToys · 工具包

根据一段英文说明写出 Python 函数。这是在一台笔记本上从零训练的 50M 参数代码模型，小到可以在 Ollama、LM Studio 或 llama.cpp 里离线运行。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

t5-v1_1-xxl-encoder-gguf

city96 · 工具包

Google T5 v1.1 XXL 文本编码器的 GGUF 转换版，用于在 llama.cpp 里生成文本嵌入，或通过 ComfyUI-GGUF 为图像生成模型提供输入。适合开发者和图像生成用户。

Paraphase-2B

chadstthomas · 工具包

一个小型离线模型，把生硬、带 AI 腔的英文邮件草稿改写成平实的文字，同时保留事实。通过 llama.cpp 在 4 到 6 GB 的设备上运行。

Qwen3.5-9B GGUF (ShapeLearn)

byteshape · 工具包

Qwen3.5-9B 的 GGUF 副本，这个模型能读文字和图像，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp。有 GPU 和 CPU 的版本，大小约从 3 GB 到 5.7 GB。

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

google_gemma-4-31B-it-GGUF

bartowski · 工具包

Google Gemma 4 31B 指令模型的量化 GGUF 文件，大小从 17.15 GB 到 61.41 GB，由 bartowski 用重要性矩阵制作。可读取图像和文字。可在 llama.cpp、LM Studio 等工具里运行。

Cloudflare clef GGUF

bartowski · 工具包

Cloudflare 的 clef 决策模型的静态 GGUF 量化版本，它不写文字，而是一次性为关于某个状态的类型化问题的每个选项打分。适合用 llama.cpp 运行它的开发者。

Surya 2.5 GGUF

datalab-to · 工具包

从文档图像里读取文字、表格和版面，并以文字返回。这是 Surya 2.5 OCR 模型面向 llama.cpp 的 GGUF 版本，适合想在自己电脑上运行文档 OCR 的人。

Hy-MT2-7B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是腾讯 7B 模型面向 llama.cpp 的 GGUF 版本。适合在本地运行翻译的开发者。

Hy-MT2-1.8B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是适用于 llama.cpp 的 1.8B GGUF 格式模型。适合想要一个小型本地翻译器的开发者。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

OpenBonsai Qwen3.5-9B Ternary

webbrain-one · 工具包

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。