开发者 AI 技能与智能体

Hy-MT2-1.8B-GGUF

tencent · 工具包

在 33 种语言之间翻译文本并遵循翻译指令，是适用于 llama.cpp 的 1.8B GGUF 格式模型。适合想要一个小型本地翻译器的开发者。

BaronLLM Offensive Security LLM Q6_K GGUF

AlicanKiraz0 · 工具包

回答安全问题，帮助规划经授权的红队演练，是 Llama 3.1 8B 的 Q6_K GGUF 微调版本。适合在有权测试的系统上工作的安全研究人员。

Qwen3.8-27B Agention Precision GGUF

agentionai · 工具包

把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件，有八种大小，从 8.95 到 16.35 GiB，另附视觉投影器。作者称在每个大小上，它与 BF16 模型的偏离都比其他量化版本小。

Occamy-1.0

Accio-Lab · 工具包

Accio-Lab 推出的开放 35B 图文模型，基于 Qwen3.6-35B-A3B，提供 BF16、GGUF、FP8、NVFP4 和 MLX 格式。适合部署大模型的团队。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

Strata-Sage-A1.5-GGUF

ykarout · 工具包

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

OpenBonsai Qwen3.5-9B Ternary

webbrain-one · 工具包

用约 2 GB 的 GGUF 文件运行被压缩成三值权重的 Qwen3.5-9B，可在两个 llama.cpp 变体里用 CPU 运行。适合尝试极端压缩的研究预览版。

Granite Speech 5.0 TurboCTC 470M GGUF

vladers · 工具包

把语音转成文字，支持七种语言，是 IBM Granite Speech 5.0 TurboCTC 470M 的量化 GGUF 版本，为 transcribe.cpp 制作。适合想加入本地听写或转录功能的开发者。

Z-Image-Turbo-GGUF

unsloth · 工具包

Unsloth 制作的 Z-Image-Turbo 的 GGUF 文件，这是一个快速的蒸馏文生图模型，作者称它能放进 16 GB 的消费级 GPU。适合用支持 GGUF 的工具在本地生成图像的人。

Qwen3.6-27B-MTP-GGUF

unsloth · 工具包

用 Qwen3.6 27B 写代码和推理，提供 Unsloth 制作的、带多词元预测的 GGUF 文件，卡片说回复能快约 1.5 到 2 倍，且不损失准确度。为编程智能体而做。

Qwen3.5-0.8B-MTP-GGUF

unsloth · 工具包

在 llama.cpp 里运行小型的 Qwen3.5 0.8B 视觉语言模型，借助多 token 预测加快生成，使用 Unsloth 的 GGUF 文件。适合测试推测解码的开发者。

Muse Glimmer 30B GGUF

unsloth · 工具包

在本地运行一个能读文字和图片、调用工具并在调用失败后重试的 30B 智能体模型，使用 Unsloth 的 GGUF 文件。适合在消费级硬件上构建本地智能体的开发者。

granite-4.1-8b-GGUF

unsloth · 工具包

用 IBM 的 Granite 4.1 8B 模型遵循指令、调用工具和聊天，提供 Unsloth 制作的 GGUF 文件，包含聊天模板修复。适合商业助手和会用工具的智能体。

gemma-4-31B-it-qat-GGUF

unsloth · 工具包

用 Unsloth 的 4 比特 QAT GGUF 文件运行 Google 的 Gemma 4 31B 指令模型，自带用于推测解码的草稿模型，可在 llama.cpp 中加速。适合在本地部署大型多模态模型的人。

YuE2-GGUF

Serveurperso · 工具包

yue2.cpp 的预量化 GGUF 文件，yue2.cpp 是一个 C++ 歌曲生成器，把风格标签和歌词变成立体声音频，并附上它写出的乐谱。适合想在自己电脑上运行的音乐人和爱好者。

Haas-ja-v1.0-GGUF

sakasegawa · 工具包

日语语音识别模型的 GGUF 文件，只能在 speech.cpp 中运行，支持 macOS、Windows、Linux，也可只用 CPU。适合在自己电脑上转写日语音频的人。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Qwen3-Embedding-0.6B-GGUF

Qwen · 工具包

这个 0.6B 的 GGUF 格式模型把文本变成数字向量，用于 100 多种语言的搜索、检索和聚类。适合要在自己机器上做搜索或相似度功能的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Xiaomi-OCR-0-GGUF

prithivMLmods · 工具包

提供 Xiaomi-OCR-0 的 GGUF 文件，这是一个用来读取文档和图片文字的 0.8B 紧凑视觉语言模型，大小从约 466 MB 到 1.52 GB。适合配合 llama.cpp 做本地 OCR。