来自 Hugging Face 的 AI 项目

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Nanbeige4.2-3B

Nanbeige · 工具包

4.2B 参数的紧凑循环式 Transformer 模型，面向工具使用、办公任务和编程等智能体工作，支持英语和中文。适合想用小型开放模型做智能体的开发者。

Agaram 2.5B

murai-labs · 工具包

能用泰米尔文、罗马化泰米尔语和英语聊天，也能在泰米尔语和英语之间翻译。这是 Murai Labs 从零训练的 2.5B 模型，适合泰米尔语使用者、研究人员和开发者。

VulnLLM-R-7B-8bit

mlx-community · 工具包

通过 mlx-lm 运行 VulnLLM-R-7B 的 8 位 MLX 版本，用于文本生成。适合想在本地试用该模型的开发者。模型卡没有说明它的训练用途。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

Mistral-7B-v0.1

mistralai · 工具包

作为 7B 预训练基础模型生成并续写文字，适合想要一个起点来测试、微调或在其上开发的研究人员和开发者。

Mistral-7B-Instruct-v0.1

mistralai · 工具包

Mistral 推出的 7B 指令微调聊天模型，基于 Mistral-7B-v0.1，用公开的对话数据集微调。适合想要一个能遵循提示词的小型开放模型的开发者。

MiroThinker-v1.0-8B

miromind-ai · 工具包

一个开放的研究智能体模型，能在长上下文中推理，并在每个任务里多次调用工具查找信息。基于 Qwen3-8B 的 8B 版本，适合在自己硬件上运行研究智能体的开发者。

KLM 1.5

MinimaLabs · 工具包

一个 99M 参数的基础语言模型，从零开始在 100B token 上训练，采用混合注意力设计。适合想运行、研究或微调一个极小开放模型的研究人员和爱好者。

Phi-4-multimodal-instruct

microsoft · 工具包

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

Phi-4

microsoft · 工具包

Microsoft Research 推出的 14B 开放语言模型，针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能，或研究中等规模模型的开发者。

Maya-1

maya-research · 工具包

一个开放权重的文字转语音模型，你用日常的话描述声音，并加入内嵌的情绪提示。适合需要有表现力、可设计声音的开发者和创作者。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Maincoder-1B

Maincode · 工具包

根据函数签名或文档字符串补全并编写 Python 代码。这是 Maincode 的 1B 代码模型，小到能在消费级硬件上运行，适合想在本地做代码补全的开发者。

Qwen3.6-35B-A3B Claude 4.7 Opus Reasoning Distilled

lordx64 · 工具包

回答前会在明确的思考块里推理，用约 8k 条 Claude Opus 4.7 的推理轨迹调优。这是 35B 混合专家的 Qwen3.6 变体，适合困难的数学、科学、代码和规划。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

humanizer-GGUF

jialinyyzz · 工具包

把 AI 写的英文和中文草稿重写成读起来像真人写的，同时保留数字、日期、名字和引语。一个 12B 模型，以 GGUF 文件提供，可在本地运行。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Agents-A1

InternScience · 工具包

作为一个 35B 开放权重语言模型，负责多步骤智能体工作：规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。

Flint-DFlash2

incoai · 工具包

一个 403M 参数的草稿模型，用 SGLang 里的推测解码加快 Flint 语言模型的服务速度，并且不改变输出。它不是独立的模型。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

K2-Horizon-0.9B

IFM · 工具包

作为一个紧凑的开源推理模型，回答数学、编程和科学问题，一次最多能读取 128K 个 token。由 IFM 制作，适合想要数据和代码都公开的小模型的人。

ibnsina-1.5b

ibnsina-llm · 工具包

一个小型波斯语语言模型，可离线写作、摘要、翻译和聊天，主要用波斯语文本从零训练。可通过 ollama、LM Studio 或 llama.cpp 在笔记本上运行。

Granite-Docling-258M

ibm-granite · 工具包

把文档页面图像转换成结构化文本，支持公式、版面和关于页面元素的提问，是 IBM Research 的 258M 模型。适合用 Docling 构建文档转换的人。

Granite-4.0-H-350M

ibm-granite · 工具包

用 IBM 推出的 340M 参数指令模型处理摘要、分类、抽取、问答、RAG、代码任务和工具调用，支持 12 种语言。适合需要紧凑设备端模型的开发者。

ALLaM-7B-Instruct-preview

humain-ai · 工具包

用阿拉伯语和英语回答问题、遵循指令。这是沙特数据与人工智能管理局（SDAIA）下属国家人工智能中心从零训练的 7B 模型，适合构建阿拉伯语工具的开发者和研究人员。

zephyr-7b-beta

HuggingFaceH4 · 工具包

作为乐于助人的助手进行对话，由 Mistral-7B 经直接偏好优化调教而成。适合想自己运行小型开源聊天模型的开发者和爱好者。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

Parallel Constrained Decoding for Apple Silicon

harshatheg · 工具包

在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类，一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍，JSON 始终有效。

Tev-320B

gordonhu · 工具包

一个 320B 的混合专家智能体模型，只用一个 bash 工具完成较长的终端任务。用 1,170 个环境做强化学习训练，面向研究者，采用非商业许可。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

SaulLM-54B-Instruct

Equall · 工具包

针对法律文本调优的语言模型，用美国和欧洲的法律资料训练。这是面向研究和改造法律 AI 的研究版本。它的回答仅供参考，不是法律意见。

ARK-ASR-3B

Edge0 · 工具包

用 Whisper 风格的音频编码器加 Qwen 解码器，把多种语言的语音转成文字。适合需要多语言转写的开发者和研究者，卡里给出了英文和中文的结果。

theOG-50M

DrunkkToys · 工具包

根据一段英文说明写出 Python 函数。这是在一台笔记本上从零训练的 50M 参数代码模型，小到可以在 Ollama、LM Studio 或 llama.cpp 里离线运行。

Maple-Preview

deepgrove · 工具包

一个 20B 的三值权重推理模型，每个词元激活约 1B 参数。为快速的设备端使用而设计，检查点为 5.31 GB，上下文为 131,072 词元。这是一个预览版，在智能体任务上较弱。

Kiyo-65M

DedeProGames · 工具包

用一个只有 65M 参数的仅解码器小模型续写英文文本，它在 80B 个词元上训练。适合想研究、比较小型 transformers 模型或拿它测试代码的学习者和研究者。

Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

DavidAU · 工具包

写带有恐怖色彩的小说。这是 Gemma 3 12B instruct 的 GGUF 版本，用恐怖模型生成的 imatrix 量化，适合在本地运行模型的创作者。

PLLuM-12B-chat-2512

CYFRAGOVPL · 工具包

PLLuM 系列的波兰语聊天模型，按人类偏好调优，适合对话、问答和摘要，并关注波兰公共服务场景。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

Underdog-Woof-4B-1.1

ConwayResearch · 工具包

这是一个紧凑的 4.2B 文本生成模型，基于 Qwen 3 4B 后训练，更适配 Underdog 自己的配套环境，并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。

Instinct

continuedev · 工具包

预测你在代码里接下来可能做的修改。这是 Continue 推出的 7.6B 模型，基于 Qwen2.5-Coder-7B 微调，适合想在自己电脑或服务器上运行它的开发者。

ConeML 1.2B Experimental

ConeML · 工具包

从你提供的事实里找出最高、最老或第一个对象，是一个小型英文研究模型，提供 FP32 Safetensors 和 Q8_0 GGUF 文件。适合研究者，仅限非商业使用。

North Mini Code

CohereLabs · 工具包

Cohere 的开放权重研究模型，用于写代码、智能体软件工程和终端任务。30B 模型，3B 激活，256K 上下文。适合自己运行编程模型的开发者。

Chroma Context-1

chromadb · 工具包

一个 200 亿参数的搜索模型，为复杂的多步问题找出支撑文档，并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。