来自 Hugging Face 的 AI 项目

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

Phi-4-mini-instruct

microsoft · 工具包

Microsoft 推出的 3.8B 开放指令模型，上下文 128K token，为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。

Qwen3.8-9B-Distill

empero-ai · 工具包

逐步推理数学、代码和一般问题，每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型，适合单张 GPU 使用。

Ornith-1.5-35B-A3B-NVFP4

ornith-ai · 工具包

能写代码、处理终端智能体任务，是每个 token 约用 3B 参数的混合专家模型，这里是 NVFP4 版本。适合想在自己硬件上部署编程模型的开发者。

gemma-4-26B-A4B-it Cactus CQ

Cactus-Compute · 工具包

Google gemma-4-26B-A4B-it 聊天模型的 2 位、3 位和 4 位压缩副本，使用 Cactus 权重格式。专为通过 Cactus 运行时在 ARM 设备上运行而做。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

zeta-2.1

zed-industries · 工具包

根据文件上下文和你最近的编辑，预测光标附近的代码接下来该怎么改写。这是 Zed Industries 的模型，适合构建编辑器功能的人。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

LocalAlign_llama3.1_8B

yuyangGong · 工具包

Llama-3.1-8B-Instruct 的 LoRA 适配器，训练它遵循可信指令、忽略藏在外部数据里的命令。适合构建 LLM 应用、需要提示词注入防御的人。

Yalda Embedding

Yaldat · 工具包

把波斯语文本转成 1,024 维的嵌入向量，用于语义搜索和检索。适合需要把波斯语问题匹配到正确段落的开发者。

MiMo-V2.6-Pro-MOPD

XiaomiMiMo · 工具包

用 1T 参数的混合专家模型处理文本、图像、视频和音频，并经过调教，在智能体工作中更少重复调用工具。适合能托管超大模型的团队。

Spark-X2.6-4B-FP8

XHToken · 工具包

面向设备端运行的 4.1B 参数紧凑文本模型，FP8 版本，有 none、low、high 三档思考等级，支持中英文。适合在小型硬件上做编程和智能体任务。

Spark-X2.6-1.7B-Base

XHToken · 工具包

一个紧凑的 1.7B 语言模型，面向设备端使用，支持英文和中文，在编程、智能体任务和长上下文上有提升，并有三档可调的思考级别。适合在本地运行模型的开发者。

Spark-X2.5-4B

XHToken · 工具包

一个紧凑的 4.1B 通用语言模型，原生支持 1M token 上下文和 200 多种语言，采用混合注意力设计，针对编码和智能体使用调校。适合想要小型开放模型的开发者。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

gpt-oss-120b-GGUF

unsloth · 工具包

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

gemma-3-270m-it-GGUF

unsloth · 工具包

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

ERNIE-4.5-21B-A3B-Thinking-GGUF

unsloth · 工具包

用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。

Hy-Memory-30B-A3B

tencent · 工具包

为助手写长期记忆，在 Mem0、MemOS 或 Hy-Memory 里决定保留什么、怎样更新，约有 3B 激活参数。适合构建带记忆的 AI 智能体的开发者。

Qwen3.8-27B-Longbook27-v2

summerAIO · 工具包

用经过微调、采用 Gated DeltaNet 层的 27B 模型，对整本书长度的文字做摘要、问答和续写，支持英语和日语。适合处理长文档的人。

Mica v0.1 4B

sky7350 · 工具包

针对给定状态下的问题，为每个允许的答案给出概率，题型可以是是非、选择或评分，不生成文字。适合给智能体和应用加入快速判断的开发者。

BeeLLM

schizophyllume · 工具包

提供一组会发出蜜蜂嗡嗡声的小型 GGUF 语言模型，有只会嗡嗡的小蜜蜂、带情绪标签的蜜蜂，以及蜂后与工蜂相连的蜂巢。适合喜欢超小模型的爱好者和开发者。

Sarvam-30B

sarvamai · 工具包

Sarvam AI 的混合专家语言模型，总参数 322 亿，每个词元激活 24 亿，面向英语和多种印度语言的实际使用。模型卡的示例代码需要 NVIDIA 显卡。

Sarvam-105B GGUF

sarvamai · 工具包

Sarvam-105B 的 GGUF 版本，一个重视印度语言的大型混合专家模型，按 4 位拆成 9 个分片，供 llama.cpp 使用。适合内存充足、想用大型开源模型的人。

Qwen3-4B P9 Honeypot

samliumay · 工具包

一个用于 Qwen3-4B 的小型研究适配器，让模型充当诱饵。发现有人套取机密时，它会向本地收集器发出无声警报，然后给出编造的值。仅限实验室使用。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Flint INT4

RecursiveSI · 工具包

Recursive Flint 的 4-bit MLX 版本，约 22.6 GB，用于 Apple Silicon 本地运行，可通过 Rec 配合 pi 或 OpenCode 启动。适合想把 Flint 接入编程工具的 Mac 用户和开发者。

gemma-4-31B-it-scotoma-2

ReadyArt · 工具包

ReadyArt 的 31.3B 参数文本生成模型，基于 Google 的 gemma-4-31b-it，以 Safetensors 存放。页面没有说明用途，适合想研究 Gemma 4 变体的人。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-7B

Qwen · 工具包

作为 7.6B 的基础语言模型来补全和生成代码，开发者可以运行它、微调它，或用于代码中间填充任务。适合制作编程工具的人。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

Qwen2.5-Coder-0.5B-Instruct

Qwen · 工具包

这是一个仅 494M 参数的对话模型，能写代码、解释代码、修代码，上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。

Qwen2.5-7B-Instruct-AWQ

Qwen · 工具包

Qwen2.5-7B-Instruct 的 4 位 AWQ 版本，一个 7.6B 的聊天模型，能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。

Qwen2.5-14B-Instruct

Qwen · 工具包

这是一个 14.7B 参数的对话模型，能回答问题、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合想自己运行开源模型的开发者。

Qwen2.5-0.5B

Qwen · 工具包

Qwen2.5 里最小的基础模型，约 4.94 亿参数，上下文 32,768 个词元，用来在你自己的数据上继续训练。适合想在微型语言模型上搭建的开发者。

Limite 1B - Violetto

paradigma-inc · 工具包

用一个从头训练的 1B 参数模型解决难度很高的数学题，追求高速、大批量的推理。适合在 NVIDIA GPU 上运行数学任务的开发者。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

LFM2.5-350M-home-assistant-sft

OrdenWills · 工具包

把“关掉电视”这样的日常家居指令变成结构化的工具调用，并先检查设备状态。这是一个 3.5 亿参数的模型，适合智能家居开发者和爱好者。

MOSS-Video-Preview-Real-Time-SFT

OpenMOSS-Team · 工具包

在视频播放的同时给出评论，逐帧接收画面并低延迟作答。适合用 Python 和 transformers 构建实时视频助手的开发者和研究人员。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

Octen-WebGR-0.6B

Octen · 工具包

把一条简短的搜索查询变成它最可能指向的网址，模型里自带一张含 3090 万个 URL 的表。适合想要小型自托管查找工具的开发者和研究人员。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。