来自 Hugging Face 的 AI 项目

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

Qwen3.8-27B-CodeForge-3xMerge

xtools-at · 工具包

用三个 Qwen3.8-27B 微调版本加权合并而成的模型，可编写和解释代码，也能处理推理问题。适合想用一个通用模型做编程和聊天的开发者。

Llama-3.2-1B-Instruct-GGUF

unsloth · 工具包

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

MNN-Pocket-0.3B-MNN

taobao-mnn · 工具包

通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型，是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。

MNN-Pocket-0.3B-Dec

taobao-mnn · 工具包

读取一段文字状态和你的问题，在一次计算里为每个问题从你给的选项中选出答案，并给出各候选项的概率。这是面向开发者的决策模型，不是聊天模型。

Chatterbox-Turbo

ResembleAI · 工具包

这个 350M 参数的模型为低延迟语音智能体打造，朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合想要快速、有表现力、显存占用更少的语音的开发者。

Qwen3.5-4B-Base

Qwen · 工具包

这是一个只做过预训练的视觉语言基础模型，用于微调和上下文学习实验，不用于直接聊天。适合想用小型 Qwen3.5 作起点并用 LoRA 适配的开发者。

Qwen3-4B-GGUF

Qwen · 工具包

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

Qwen3-14B

Qwen · 工具包

这是一个 14.8B 参数的开源模型，难题用思考模式推理，日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。

Qwen2.5-Coder-32B-Instruct

Qwen · 工具包

编写、解释和修复代码，是 Qwen2.5-Coder 系列中最大的指令微调模型，32B 参数。适合想在自己硬件上运行强大开源编程模型的开发者。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

SillyTavern

nohurry · 工具包

分享 SillyTavern 的角色扮演预设，主要是 Voyage 系列，另有一个通用的 Eval 预设。适合用本地或云端语言模型玩故事聊天的人。

Granite-4.2-30B

ibm-granite · 工具包

先分步骤思考再作答，适合数学、代码、工具调用和多语言对话。这是 IBM 最大的稠密 Granite 4.2 模型，采用 Apache 2.0 许可，适合在自己硬件上运行开源模型的团队。

SmolLM2-135M-Instruct

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合需要在 Python 或 JavaScript 中使用微型聊天模型的开发者。

SmolLM2-1.7B-Instruct

HuggingFaceTB · 工具包

聊天、改写和总结文本，还能调用函数，是一个小到可以在设备上运行的 1.7B 紧凑模型。这是 HuggingFaceTB 经过指令微调的 SmolLM2，适合想要小型英文模型的开发者。

gnani-evon-v3.3-30B-A3B

gnani · 工具包

用英语和十种印度语言聊天、答题和推理，上下文长度 128K。这是 Gnani.ai 的 30B 混合专家模型，适合用印度语言构建助手、RAG 和智能体的团队。

RWKV7-G1 GooseOne

BlinkDL · 工具包

纯 RNN 的文本生成基础模型，用于聊天、推理和工具调用，可作为后训练和微调的起点。支持八种语言，适合开发者和研究人员。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。