来自 Hugging Face 的 AI 项目

Qwen2.5-7B-Instruct

Qwen · 工具包

这是一个 7.6B 参数的指令微调模型，能聊天、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合需要在单台电脑上运行小型开源模型的开发者。

Qwen2 0.5B Instruct

Qwen · 工具包

Qwen 出品的小型 494M 参数聊天模型，能遵循指令，BF16 权重约 988 MB，通过 Transformers 运行。适合需要轻量模型做测试或简单任务的开发者。

Hermes-3-Llama-3.2-3B

NousResearch · 工具包

一个 3.2B 的聊天助手模型，能遵循指令、调用函数、输出结构化内容并写代码。适合在自己电脑上运行模型的开发者和爱好者。

phi-2

microsoft · 工具包

一个小型文本生成模型，能回答问题、续写对话并补全代码。适合想用紧凑开放模型做安全研究和实验的研究人员与开发者。

Qwen3.8-27B-DFlash2

incoai · 工具包

通过起草一整块 token 让主模型验证，来加速 Qwen3.8-27B，输出保持不变。这是适用于 SGLang 和 vLLM 服务的 1.9B 草稿模型，不是独立的聊天模型。

granite-4.2-3b

ibm-granite · 工具包

回答前先一步步推理，在 IBM 的紧凑 3B 模型中提供工具调用、代码生成和多语言对话。原生支持 128K 上下文，采用 Apache 2.0 开源。

SmolLM2-360M-Instruct

HuggingFaceTB · 工具包

用一个 3.62 亿参数、在普通硬件上就能运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合想要比 135M 更有余量的小型聊天模型的开发者。

Carbon-X

HuggingFaceBio · 工具包

在聊天里读取原始 DNA 并用英文回答，判断变异看起来是良性还是致病，适合想在自己 GPU 上运行 DNA 语言模型的研究人员。

Crystal-31B-RL

hiwaifu-research · 工具包

从 Gemma 4 31B-IT 后训练而来的角色扮演聊天模型，用用户的语言回复，无论是俄语、西班牙语、英语还是葡萄牙语，并一直保持这种语言。可处理图像和文字。

DeepSeek-V3.2

deepseek-ai · 工具包

DeepSeek 的 685B 开源推理模型，用稀疏注意力处理长上下文，聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

Qwen3.8-27B-CodeForge-3xMerge

xtools-at · 工具包

用三个 Qwen3.8-27B 微调版本加权合并而成的模型，可编写和解释代码，也能处理推理问题。适合想用一个通用模型做编程和聊天的开发者。

Llama-3.2-1B-Instruct-GGUF

unsloth · 工具包

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

MNN-Pocket-0.3B-MNN

taobao-mnn · 工具包

通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型，是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。

MNN-Pocket-0.3B-Dec

taobao-mnn · 工具包

读取一段文字状态和你的问题，在一次计算里为每个问题从你给的选项中选出答案，并给出各候选项的概率。这是面向开发者的决策模型，不是聊天模型。

Chatterbox-Turbo

ResembleAI · 工具包

这个 350M 参数的模型为低延迟语音智能体打造，朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合想要快速、有表现力、显存占用更少的语音的开发者。

Qwen3.5-4B-Base

Qwen · 工具包

这是一个只做过预训练的视觉语言基础模型，用于微调和上下文学习实验，不用于直接聊天。适合想用小型 Qwen3.5 作起点并用 LoRA 适配的开发者。

Qwen3-4B-GGUF

Qwen · 工具包

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

Qwen3-14B

Qwen · 工具包

这是一个 14.8B 参数的开源模型，难题用思考模式推理，日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。

Qwen2.5-Coder-32B-Instruct

Qwen · 工具包

编写、解释和修复代码，是 Qwen2.5-Coder 系列中最大的指令微调模型，32B 参数。适合想在自己硬件上运行强大开源编程模型的开发者。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

SillyTavern

nohurry · 工具包

分享 SillyTavern 的角色扮演预设，主要是 Voyage 系列，另有一个通用的 Eval 预设。适合用本地或云端语言模型玩故事聊天的人。

Granite-4.2-30B

ibm-granite · 工具包

先分步骤思考再作答，适合数学、代码、工具调用和多语言对话。这是 IBM 最大的稠密 Granite 4.2 模型，采用 Apache 2.0 许可，适合在自己硬件上运行开源模型的团队。

SmolLM2-135M-Instruct

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合需要在 Python 或 JavaScript 中使用微型聊天模型的开发者。

SmolLM2-1.7B-Instruct

HuggingFaceTB · 工具包

聊天、改写和总结文本，还能调用函数，是一个小到可以在设备上运行的 1.7B 紧凑模型。这是 HuggingFaceTB 经过指令微调的 SmolLM2，适合想要小型英文模型的开发者。

gnani-evon-v3.3-30B-A3B

gnani · 工具包

用英语和十种印度语言聊天、答题和推理，上下文长度 128K。这是 Gnani.ai 的 30B 混合专家模型，适合用印度语言构建助手、RAG 和智能体的团队。

RWKV7-G1 GooseOne

BlinkDL · 工具包

纯 RNN 的文本生成基础模型，用于聊天、推理和工具调用，可作为后训练和微调的起点。支持八种语言，适合开发者和研究人员。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。

Rick & Morty Bot

kingabzpro · 工具包

在 Gradio 页面里用 DialoGPT 模型，以《Rick and Morty》中 Rick 的口吻和你聊天。适合粉丝，也适合想看小型聊天机器人示例的开发者。

Qwen3-4B-Instruct-2507

Qwen · 工具包

用 4B 模型回答对话提示，不显示思考过程，可读取最多 256K token 的上下文。适合想要小型开源助手来做推理、编程和工具调用的开发者。

Qwen2.5-Coder-7B-Instruct

Qwen · 工具包

编写、解释和修复代码，是 Qwen2.5-Coder 系列里 7B 的指令微调成员。适合想要一个单张消费级 GPU 就能跑的开源编程模型的开发者。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Qwen2.5-1.5B-Instruct

Qwen · 工具包

Qwen 的 1.5B 小型对话模型，能遵循指令、写代码和数学、输出 JSON 等结构化内容，支持超过 29 种语言。适合需要轻量模型的开发者。

Hermes 4 14B

NousResearch · 工具包

Nous Research 的 14B 混合推理模型，基于 Qwen3-14B。它可以逐步思考、调用工具，并返回符合模式的 JSON。使用 ChatML 提示格式。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

Hermes 3 Llama-3.1 8B

NousResearch · 工具包

Nous Research 基于 Llama 3.1 的 8B 通用对话模型，支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。

WPLM

Leejh123e · 工具包

一个小型聊天机器人，它的权重是用纯文本编辑清单手写出来的，完全没有经过训练。你可以把每条回复追溯到背后的神经元。需要联网访问一个公开的查询服务。

Hemmingway-1

HemmingwayAI · 工具包

把日常消息和邮件写成一条可以直接发送的文字，而不是一堆选项。基于 Qwen3.8-27B 的 27B 模型，非商业使用免费，适合想要听起来像真人写作的人。

Gadsby-4B

errrinn · 工具包

禁用 Simple Wikipedia 中常见的词对之后，用古怪的网络聊天口吻回答。这是一个 4.3B 参数的 Gemma 3 实验，适合好奇约束解码如何改变模型语气的人。

Sekai-1

8BitStudio · 工具包

一个 95.6M 参数的英文聊天模型，在单块 RTX 5060 Ti 上从零训练，小到可以在 CPU 上运行。适合想试玩小型本地语言模型的人。

mai_replier-9b-v3

tcmofashi · 工具包

在中文 QQ 群聊里扮演一个角色：读取聊天记录，写出一句简短随意的回复，不显示推理过程。这是 Qwen3.5-9B 的合并 9B 微调模型，也能读取聊天里的图片。

Qwen3.5-35B-A3B

Qwen · 工具包

能读图像和文字的多模态聊天模型，总参数 35B，每次只启用其中 3B。适合用 Transformers、vLLM 等自己部署大模型的开发者。

Qwen Sharp Chat Templates

peculiar-ragdoll · 工具包

替换 Qwen3.5、3.6 和 3.8 模型的聊天模板，让它们回答前少想一些、回复更紧凑。适合在本地运行 Qwen 做编程和知识工作的人。

Mistral-7B-Instruct-v0.3

mistralai · 工具包

Mistral AI 的 7.2B 开源聊天模型，能遵循指令，还能调用你描述的函数。它由 Mistral-7B-v0.3 微调而来，可用 mistral_inference 或 transformers 运行。

Raon-1 mini (GGUF)

KRAFTON · 工具包

在 llama.cpp 中运行一个 28.8B 的混合专家模型，针对韩语对话、推理和调用工具的智能体做过优化。这是 Raon-1 mini preview 的 GGUF 版本，适合在自己电脑上运行模型的人。

Granite-4.2-8B

ibm-granite · 工具包

逐步推理、写代码、调用工具，并用多种语言聊天，上下文最长 128K token，可扩展到 512K。这是 IBM 的稠密 8B 模型，适合构建智能体和助手的开发者。

CherryPit-1.2-2B

DRUPEs · 工具包

基于 MiniCPM5-2B 的 2B 编程和聊天模型，在需要多个功能合在一个组件里的网页应用上进步很大。适合想要本地小型代码模型的开发者。

Tallow

digi-the-robot · 工具包

一个只有 15.7M 参数的小型语言模型，扮演一只野生乌鸦，用心情、动作和乌鸦叫声回答，还会记住你怎么对他。适合爱折腾的人，以及想和一个小角色模型聊天的人。