来自 Hugging Face 的 AI 项目

Qwen3.8-2B-Distill-GGUF

empero-ai · 工具包

在手机、笔记本和单板计算机上运行小型 2B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp。

NorthCUA-Mini

beipo-ai · 工具包

读取截图和请求，然后规划并发出操作桌面或浏览器的动作。这是基于 Qwen3.5 的 35B 混合专家计算机操作模型，激活参数 3B。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

Spark-X2.6-1.7B

XHToken · 工具包

用面向本地设备的紧凑 1.7B 模型生成文本，有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-E4B-it-GGUF

unsloth · 工具包

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

Typhoon OCR V2 0.8B

typhoon-ai · 工具包

用 0.8B 参数把泰语和英语文档页面解析成按顺序排列的版面元素，带类别、边框和文字。适合要把泰语文件数字化的开发者。

TinyLlama-1.1B-Chat-v1.0

TinyLlama · 工具包

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

SenseNova 6.8 Code2Video

sensenova · 工具包

用 27B 模型生成并渲染可执行代码来制作短视频，该模型由 Qwen3.8-27B 微调而来。适合想根据提示词出视频草稿的动效设计师、教师和营销人员。

Qwen3.5-2B

Qwen · 工具包

Qwen 的小型 2B 模型，读取文字和图片并用文字回复，适合用 transformers 库做原型、微调或研究的开发者。

Qwen3.6-35B-A3B-NVFP4

nvidia · 工具包

NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频，可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。

GLM-5.3-Flash-NVFP4

nvidia · 工具包

提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版，这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Qwen3.8-4B-Distill-GGUF

empero-ai · 工具包

在笔记本或中端显卡上运行 4B 推理模型，提供五种量化等级的 GGUF 文件。由 Empero 打包，是大型 Qwen3.8 模型的蒸馏版本，适用于 llama.cpp 等应用。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

WeVisOne-VL-2B

tencent · 工具包

读取图片和文字提问，返回物体框、点、数量、文字位置和像素级蒙版，包括 alpha 抠图。适合在自己电脑上运行 2.4B 模型的研究者。

Bielik-11B-v3.1-Instruct GGUF

speakleash · 工具包

能用波兰语、英语和另外六种语言回答的聊天模型，打包成五种大小的 GGUF 文件，供 llama.cpp 或 Ollama 使用。适合想在自己电脑上用指令模型的人。

GLM-5.3-Flash-Coder-RCO-152E-GGUF

lapadatbogdan · 工具包

在家用电脑上运行裁剪过的 GLM-5.3-Flash 编程和智能体模型，提供五种量化大小的 GGUF 文件。每层保留 288 个专家中的 152 个，把 321B 模型缩小到约 170B。

Sage-A1.5

InternScience · 工具包

作为智能体处理长篇科学任务，能委派给子智能体、检查自己的进展并修订计划。这是面向研究和工程工作流的 35B 混合专家模型。

Qwen3.8-35B-A3B-Distill

empero-ai · 工具包

回答前先一步步推理，使用 35B 的混合专家模型，每个词元只激活约 3B 参数。由 Qwen3.8 教师推理轨迹蒸馏而来，侧重数学和代码。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Sabi-Noema

sabicap · 工具包

基于 Qwen3.8-27B、用开源强化学习环境训练的 27B 智能体文本模型，报告了更高的终端和编程智能体得分，适合构建编程和调用工具智能体的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

jevos-v4

feder-cr · 工具包

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

Qwen3.8-9B-Distill-GGUF

empero-ai · 工具包

Empero 的 Qwen3.8-9B 的 GGUF 量化版本，一个由更大的 Qwen3.8 蒸馏到 Qwen3.5-9B 架构里的推理模型，适用于 llama.cpp、Ollama、LM Studio 等工具。

Gemma4-12B v2 Coding + Agentic Edition

yuxinlu1 · 工具包

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

Inkling

thinkingmachines · 工具包

读取文字、图片和音频并写出文字，是一个庞大的开放多模态模型，适合编码助手、智能体和聊天机器人。适合有多 GPU 服务器或托管 API 的开发者。

Qwen3-8B

Qwen · 工具包

Qwen 的 8.2B 开放语言模型，可在处理难题的思考模式和日常聊天的普通模式之间切换，支持工具调用和 100 多种语言。

Qwen3.8-27B NVFP4

nvidia · 工具包

NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本，用 Model Optimizer 制作，面向 Blackwell GPU，输入文字、图片和视频，输出文字。

Raon-1 mini

KRAFTON · 工具包

能聊天和推理，尤其擅长韩语，并可执行调用工具的智能体任务。这是一个 28.8B 的混合专家模型，每个词元激活 4.3B 参数，上下文 262,144 个词元。KRAFTON AI 的预览版本。

Qwen3.8-35B-A3B-Distill-GGUF

empero-ai · 工具包

用十种尺寸的 GGUF 文件运行一个 35B 混合专家模型，每个 token 约 3B 参数在工作，另附视觉投影文件。适合 llama.cpp、Ollama、LM Studio、Jan 和 KoboldCpp 用户。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

GLM-5.3-Flash-GGUF

unsloth · 工具包

在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本，作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。

Qwen3-0.6B

Qwen · 工具包

最小的 Qwen3 对话模型，基于 Qwen3-0.6B-Base 构建。它能在思考模式和更快的普通模式之间切换，支持 100 多种语言和 32,768 token 的上下文，在普通硬件上也能运行。

LightOnOCR-3-4B

lightonai · 工具包

读取文档页面图片，返回 markdown 文本，或带边界框的标注块、图片描述和图表数据。适合构建 OCR 和文档理解流程的开发者。

LightOnOCR-3-0.8B

lightonai · 工具包

LightOn 的 0.8B 小型 OCR 模型，把页面图片读成 markdown，在 grounding 模式下还会给每个区块标上边界框。是 LightOnOCR-3 系列中快速、轻量的尺寸。

DeepSeek-R1

deepseek-ai · 工具包

用 684B 的推理模型生成文本，该模型主要通过强化学习训练，面向数学、代码和逻辑。适合自己托管大型开源模型的研究人员和团队。

DeepHat-V1-7B

DeepHat · 工具包

面向网络安全和 DevOps 工作的 7B 编程模型，由 Qwen2.5-Coder-7B 微调而来。适合想要本地小模型的安全和运维工程师，须遵守附加的使用限制。

Apex-35B-V1.0

Apexintelligence-AI · 工具包

用于编程、工具使用、问答、搜索和研究任务的文本模型，基于 Qwen3.6-35B-A3B，每个词元约用 3B 参数。适合开发者和研究者。

GLM-OCR

zai-org · 工具包

读取文档图像中的文字、公式和表格，并从中提取结构化信息，支持八种语言。这是 zai-org 的小型 OCR 模型，面向开发者和文档处理流水线。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

flint-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

Beam-1.0-501B-A23B

reflection · 工具包

Reflection 推出的开放指令微调文本模型，501B 参数，每次激活 23B，上下文 1M token，面向编程、工具使用和推理。需要大型多 GPU 服务器才能运行。

Qwen3.5-9B-Base

Qwen · 工具包

为研究人员和开发者提供带视觉编码器的预训练 9B 基础模型，用于微调和实验，而不是直接聊天。能处理文本和图像。

Qwen3-4B

Qwen · 工具包

用 4B 的 Qwen3 模型生成文本，可在处理难题的思考模式和快速聊天的普通模式之间切换。适合想用小型聊天模型的开发者。

Qwen3.5-0.8B-weight-space-programming

ML-Intern-lab · 工具包

用一个小型 Qwen3.5-0.8B 模型一步步解数学题，它的权重由一个 LLM 直接修改，没有经过训练，用来消除重复循环。适合研究人员和想试验权重编辑的人。

Qwen3.8 13.5B

kusuriya-labs · 工具包

一个把 Qwen3.8-27B 剪掉一半层数再重新训练的实验，得到一个 14.7B 的日英模型，作者称它目前还不实用。

Qwopus3.8-27B-Coder-Flash-GGUF

Jackrong · 工具包

作为 Qwen3.8-27B 的 GGUF 微调版，帮你写代码并胜任会调用工具的智能体任务，用约 20 万条代码、智能体和推理样例训练。适合在自己电脑上运行模型的开发者。