来自 Hugging Face 的 AI 项目

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。

Qwen3.5-2B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

MiMo-V2.6-Flash-RL

XiaomiMiMo · 工具包

在同一个模型里处理文本、图像、视频和音频输入，上下文长达 1M token，适合长代码库和智能体运行。这是 XiaomiMiMo 推出的 311B 开放混合专家模型。

Ornith-1.5-122B-GGUF

unsloth · 工具包

在你自己的机器上运行 Ornith-1.5-122B 文本模型，由 unsloth 制作成 GGUF 文件。这是一个 122B 混合专家模型，面向单块 GPU 上的编程和智能体工作。

Qwen3.6-35B-A3B-FP8

Qwen · 工具包

读取文本和图像并输出文本，是 Qwen3.6-35B-A3B 的 FP8 版本，激活参数 3B。适合运行编程智能体、又想比全精度下载更小的开发者。

Qwen3.6-27B

Qwen · 工具包

Qwen 的 27B 模型，读取文字和图片并用文字回复，针对编程智能体和仓库级工作调校，适合用 transformers 库运行它的开发者。

Qwen3-Coder-Next

Qwen · 工具包

作为编程智能体模型使用，总参数 80B、激活参数 3B，上下文 256K。适合在 CLI 和 IDE 工具里运行智能体、并想自己托管模型的开发者。

Qwen3-4B-Instruct-2507

Qwen · 工具包

用 4B 模型回答对话提示，不显示思考过程，可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。

Qwen2.5-Coder-7B-Instruct

Qwen · 工具包

编写、解释和修复代码，是 Qwen2.5-Coder 系列里 7B 的指令微调成员。适合想要一个单张消费级 GPU 就能跑的开源编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Qwen2.5-1.5B-Instruct

Qwen · 工具包

Qwen 的 1.5B 小型对话模型，能遵循指令、写代码和数学、输出 JSON 等结构化内容，支持超过 29 种语言。适合需要轻量模型的开发者。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

MiniCPM5-2B-GGUF

openbmb · 工具包

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

ttf-Qwen3.8-27B-GGUF

oguzeldereli · 工具包

把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件，可在 12 GB 显卡上运行，有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

AREX-2-i1-GGUF

mradermacher · 工具包

BAAI/AREX-2（一个 26.9B 的视觉模型）的加权 GGUF 量化版本，约有两打尺寸，从 7.2 GB 到 22.2 GB，另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。

Qwen3.5-4B-3D-Html

mondk · 工具包

一个 4.2B 的文本生成模型，由 Qwen3.5-4B 微调而来，用 Three.js 把 3D 场景写成一个独立的 HTML 文件。在浏览器里打开文件，用鼠标旋转模型。

MemT-1.0-Nano

MemTensor · 工具包

自带固定大小记忆状态的语言模型，基于 Qwen3.6-35B-A3B，无需重读就能保留过去的上下文。适合研究模型和智能体记忆的研究人员和开发者。

Hemmingway-1

HemmingwayAI · 工具包

把日常消息和邮件写成一条可以直接发送的文字，而不是一堆选项。基于 Qwen3.8-27B 的 27B 模型，非商业使用免费，适合想要听起来像真人写作的人。

LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布，供本地运行。

LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统，有 12 种推理模式和 12 种指令模式，在提示词里切换。2.7B 测试版，供本地运行。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Sekai-1

8BitStudio · 工具包

一个 95.6M 参数的英文聊天模型，在单块 RTX 5060 Ti 上从零训练，小到可以在 CPU 上运行。适合想试玩小型本地语言模型的人。

Xing4.0-29B-A4B

XingChen-AGI · 工具包

用于生成文本，处理规划和调用工具等多步骤任务，支持中英文和 256K 上下文。这是一个混合专家模型，适合自行部署运行的开发者。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen3.8-27B-1C

sweetand · 工具包

帮助 1C:Enterprise 平台上的开发者读取和修改 BSL 代码，并在 XML 导出里查找对象。这是以俄语为主的 Qwen3.8-27B 微调版本，这里提供 GGUF 格式。

Qwen3.5-35B-A3B

Qwen · 工具包

能读图像和文字的多模态聊天模型，总参数 35B，每次只启用其中 3B。适合用 Transformers、vLLM 等自己部署大模型的开发者。

Qwen3.5-27B

Qwen · 工具包

读取文字和图片并写出文字，是带视觉编码器的 27B Qwen 模型，原生上下文为 262,144 个词元。适合在服务器级硬件上构建助手和智能体的开发者。

Qwen3-0.6B-Base

Qwen · 工具包

提供 Qwen3-0.6B-Base，这是 Qwen3 系列里小型的预训练基础模型，用 119 种语言训练，上下文 32k。适合要微调或研究微型语言模型的开发者。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

Sharp-Spark-X2.5-4B-GGUF

peculiar-ragdoll · 工具包

4B 编程模型 Spark-X2.5 的压缩 GGUF 版本，针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。

MiniCPM-OCR Jev

openbmb · 工具包

给文字、公式或表格区域的 OCR 结果打 0 到 1 的分，表示结果正确的可能性。适合自动接受可靠结果、把其余的送去复核或在多个 OCR 模型间择优的团队。

Qwen3.8-27B-4bit (MLX)

mlx-community · 工具包

Qwen3.8-27B 的 4 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行视觉语言模型的开发者。

Mage-VL

microsoft · 工具包

Microsoft 推出的图像和视频多模态模型，像视频编码器存储视频那样读取视频，只保留变化的图块。适合做视频理解和流式处理的开发者和研究者。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

Qwen3.8-27B-GGUF

lmstudio-community · 工具包

Qwen 的 Qwen3.8-27B 的 GGUF 量化版本，由 LM Studio 团队用 llama.cpp 制作，适合在自己电脑上运行 27B 模型的人。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Mellum2.1-12B-A2.5B-Thinking

JetBrains · 工具包

12B 混合专家思考模型，激活参数 2.5B，在真实代码仓库中用强化学习训练，面向编程智能体、数学和困难推理。由 JetBrains 打造，上下文 131,072 token。

Sage-A1.5 GGUF (Q4_K_M)

InternScience · 工具包

以 4-bit GGUF 文件运行 Sage-A1.5，这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展，适用于 llama.cpp、Ollama 和 LM Studio。

Ling-3.1-flash

inclusionAI · 工具包

处理复杂的智能体、搜索、办公和编程工作，总参数 560B，激活参数 25B，上下文 1M token。服务示例使用多 GPU 服务器上的 SGLang，权重以 MIT 许可开放。

K2-Horizon-7B

IFM · 工具包

用 512K token 的上下文窗口写文字、代码和推理回答，适合想要训练数据、代码和检查点全部公开的开放稠密模型的开发者和研究人员。

Granite-4.2-8B

ibm-granite · 工具包

逐步推理、写代码、调用工具，并用多种语言聊天，上下文最长 128K token，可扩展到 512K。这是 IBM 的稠密 8B 模型，适合构建智能体和助手的开发者。

SmolLM3-3B

HuggingFaceTB · 工具包

作为小型 3B 开放模型来写作和回答问题，支持可切换的逐步思考、工具调用和长上下文，适合想在自己电脑上用紧凑模型的开发者。

Qwen3.8-27B QSA BF16

higa2515 · 工具包

在 Qwen3.8-27B 上加了学习型稀疏注意力索引器的 BF16 源权重，附带参考用的 Transformers 加载器，适合研究或部署 Qwen Sparse Attention 的人。

gemma-4-12B-it-qat-q4_0-gguf

google · 工具包

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。

Quark

FirstPrinciplesLabs · 工具包

FirstPrinciples 从 Qwen3.5-9B 微调出的 9B 物理、科学和数学推理模型。适合想要分步推导和第二意见，并希望在本地或离线使用的研究者。