来自 Hugging Face 的 AI 项目

LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统，有 12 种推理模式和 12 种指令模式，在提示词里切换。2.7B 测试版，供本地运行。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Sekai-1

8BitStudio · 工具包

一个 95.6M 参数的英文聊天模型，在单块 RTX 5060 Ti 上从零训练，小到可以在 CPU 上运行。适合想试玩小型本地语言模型的人。

Xing4.0-29B-A4B

XingChen-AGI · 工具包

用于生成文本，处理规划和调用工具等多步骤任务，支持中英文和 256K 上下文。这是一个混合专家模型，适合自行部署运行的开发者。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen3.8-27B-1C

sweetand · 工具包

帮助 1C:Enterprise 平台上的开发者读取和修改 BSL 代码，并在 XML 导出里查找对象。这是以俄语为主的 Qwen3.8-27B 微调版本，这里提供 GGUF 格式。

Qwen3.5-35B-A3B

Qwen · 工具包

能读图像和文字的多模态聊天模型，总参数 35B，每次只启用其中 3B。适合用 Transformers、vLLM 等自己部署大模型的开发者。

Qwen3.5-27B

Qwen · 工具包

读取文字和图片并写出文字，是带视觉编码器的 27B Qwen 模型，原生上下文为 262,144 个词元。适合在服务器级硬件上构建助手和智能体的开发者。

Qwen3-0.6B-Base

Qwen · 工具包

提供 Qwen3-0.6B-Base，这是 Qwen3 系列里小型的预训练基础模型，用 119 种语言训练，上下文 32k。适合要微调或研究微型语言模型的开发者。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

Sharp-Spark-X2.5-4B-GGUF

peculiar-ragdoll · 工具包

4B 编程模型 Spark-X2.5 的压缩 GGUF 版本，针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。

MiniCPM-OCR Jev

openbmb · 工具包

给文字、公式或表格区域的 OCR 结果打 0 到 1 的分，表示结果正确的可能性。适合自动接受可靠结果、把其余的送去复核或在多个 OCR 模型间择优的团队。

Qwen3.8-27B-4bit (MLX)

mlx-community · 工具包

Qwen3.8-27B 的 4 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行视觉语言模型的开发者。

Mage-VL

microsoft · 工具包

Microsoft 推出的图像和视频多模态模型，像视频编码器存储视频那样读取视频，只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。