来自 Hugging Face 的 AI 项目

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

AsteroRank-Lepton-GGUF

Asteromorph · 工具包

用面向 STEM 和通用搜索的重排序模型按相关度给搜索结果排序，以 GGUF 文件提供，可在 llama.cpp 中运行。适合想在本地排序的开发者和研究者，仅限非商业使用。

Swift 1.5 Ornith 9B GGUF

ukisai · 工具包

以 llama.cpp 用的 GGUF 量化版本运行 Swift 1.5 Ornith 9B，这是一个调校成用更少 token 思考的推理模型。适合在自己机器上运行 9B 推理模型的人。

Phi-4-mini-instruct

microsoft · 工具包

Microsoft 推出的 3.8B 开放指令模型，上下文 128K token，为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。

Qwen3.8-9B-Distill

empero-ai · 工具包

逐步推理数学、代码和一般问题，每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型，适合单张 GPU 使用。

Ornith-1.5-35B-A3B-NVFP4

ornith-ai · 工具包

能写代码、处理终端智能体任务，是每个 token 约用 3B 参数的混合专家模型，这里是 NVFP4 版本。适合想在自己硬件上部署编程模型的开发者。

MN-Violet-Lotus-12B-GGUF

mradermacher · 工具包

FallenMerick 的 MN-Violet-Lotus-12B 的静态 GGUF 文件，大小从 4.9 GB 到 13.1 GB。适合想在自己电脑上运行 12B 模型的人。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

Qwen3.5-4B-3D-Coder-GGUF

prithivMLmods · 工具包

用早期预览版 Qwen3.5-4B 微调模型的 GGUF 副本写代码，并生成自包含的 Three.js 交互 3D 场景页面。适合在本地做 3D 场景原型的开发者。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

LocalAlign_llama3.1_8B

yuyangGong · 工具包

Llama-3.1-8B-Instruct 的 LoRA 适配器，训练它遵循可信指令、忽略藏在外部数据里的命令。适合构建 LLM 应用、需要提示词注入防御的人。

MiMo-V2.6-Pro-MOPD

XiaomiMiMo · 工具包

用 1T 参数的混合专家模型处理文本、图像、视频和音频，并经过调教，在智能体工作中更少重复调用工具。适合能托管超大模型的团队。

Spark-X2.6-4B-FP8

XHToken · 工具包

面向设备端运行的 4.1B 参数紧凑文本模型，FP8 版本，有 none、low、high 三档思考等级，支持中英文。适合在小型硬件上做编程和智能体任务。

Spark-X2.6-1.7B-Base

XHToken · 工具包

一个紧凑的 1.7B 语言模型，面向设备端使用，支持英文和中文，在编程、智能体任务和长上下文上有提升，并有三档可调的思考级别。适合在本地运行模型的开发者。

Spark-X2.5-4B

XHToken · 工具包

一个紧凑的 4.1B 通用语言模型，原生支持 1M token 上下文和 200 多种语言，采用混合注意力设计，针对编码和智能体使用调校。适合想要小型开放模型的开发者。

waqf-ocr-hand-written-v1

Waqf-AI · 工具包

读取图片中的阿拉伯语手写文字并以文本形式返回。这是微调过的 PaddleOCR-VL 模型，适合要把阿拉伯语手写内容数字化的人。

SmolLM3-3B-GGUF

unsloth · 工具包

用 SmolLM3 聊天和推理，这是个完全开放的 3B 模型，可以一步步思考，也可以直接回答，提供 Unsloth 制作的 GGUF 文件，带聊天模板修复。能处理长文本和六种语言。