来自 Hugging Face 的 AI 项目

gemma-4-31B-it-scotoma-2

ReadyArt · 工具包

ReadyArt 的 31.3B 参数文本生成模型，基于 Google 的 gemma-4-31b-it，以 Safetensors 存放。页面没有说明用途，适合想研究 Gemma 4 变体的人。

Qwen3.8-27B-mixed-3.5bpw-MLX

rapid-mlx · 工具包

一个压缩到每个权重 3.5 位的 27B 视觉语言模型，适用于 24 GB 内存的 Apple Silicon Mac，通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。

Qwen3.8-27B-NVFP4

RadixArk · 工具包

Qwen3.8-27B 的预量化 NVFP4 版本，能读取文字、图片和视频并用文字回答，通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。

Qwen3.5-122B-A10B

Qwen · 工具包

这个模型同时读图像和文字并用文字回答，是总参数 122B、激活参数 10B 的混合专家模型。适合有大型 GPU 服务器、想用开源视觉语言模型做推理、编程和智能体的团队。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-7B

Qwen · 工具包

作为 7.6B 的基础语言模型来补全和生成代码，开发者可以运行它、微调它，或用于代码中间填充任务。适合制作编程工具的人。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

Qwen2.5-Coder-0.5B-Instruct

Qwen · 工具包

这是一个仅 494M 参数的对话模型，能写代码、解释代码、修代码，上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。

Qwen2.5-7B-Instruct-AWQ

Qwen · 工具包

Qwen2.5-7B-Instruct 的 4 位 AWQ 版本，一个 7.6B 的聊天模型，能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。

Qwen2.5-14B-Instruct

Qwen · 工具包

这是一个 14.7B 参数的对话模型，能回答问题、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合想自己运行开源模型的开发者。

Qwen2.5-0.5B

Qwen · 工具包

Qwen2.5 里最小的基础模型，约 4.94 亿参数，上下文 32,768 个词元，用来在你自己的数据上继续训练。适合想在微型语言模型上搭建的开发者。

Qwen-Image-Bench

Qwen · 工具包

名为 Q-Judger 的评审模型，对照提示词给 AI 生成的图像打分，涵盖五组标准，并以 JSON 回复。适合测试文生图模型的人。

Qwen-Drive-1.0-4B

Qwen · 工具包

基于 Qwen3.5-4B 的驾驶模型，能做 3D 感知、回答道路场景问题并规划车辆未来路径。适合研究自动驾驶的研究者。

pplx-decider-flash-gguf-v1.2

perplexity-ai · 工具包

根据你设定的选项给请求分类，支持文本和图像，使用小型决策模型的 Q8_0 GGUF 副本。适合能运行协议 v3 运行时的开发者。

Limite 1B - Violetto

paradigma-inc · 工具包

用一个从头训练的 1B 参数模型解决难度很高的数学题，追求高速、大批量的推理。适合在 NVIDIA GPU 上运行数学任务的开发者。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

LFM2.5-350M-home-assistant-sft

OrdenWills · 工具包

把“关掉电视”这样的日常家居指令变成结构化的工具调用，并先检查设备状态。这是一个 3.5 亿参数的模型，适合智能家居开发者和爱好者。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

MiniCPM-OCR 1.0 GGUF

openbmb · 工具包

把中英文文档（包括 PDF）解析成文本、表格和公式，提供给 llama.cpp 使用的 GGUF 文件。适合在自己机器上运行 MiniCPM-OCR 1.0 的人。

Octen-WebGR-0.6B

Octen · 工具包

把一条简短的搜索查询变成它最可能指向的网址，模型里自带一张含 3090 万个 URL 的表。适合想要小型自托管查找工具的开发者和研究人员。

Qwen2-Audio-7B-GGUF

NexaAI · 工具包

在本地运行 Qwen2-Audio，用语音聊天并分析音频，包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本，适合想在自己设备上用音频 AI 的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Nanbeige4.2-3B

Nanbeige · 工具包

4.2B 参数的紧凑循环式 Transformer 模型，面向工具使用、办公任务和编程等智能体工作，支持英语和中文。适合想用小型开放模型做智能体的开发者。

Agaram 2.5B

murai-labs · 工具包

能用泰米尔文、罗马化泰米尔语和英语聊天，也能在泰米尔语和英语之间翻译。这是 Murai Labs 从零训练的 2.5B 模型，适合泰米尔语使用者、研究人员和开发者。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

OneJev1.6-4B-GGUF

mradermacher · 工具包

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。

L3-8B-Stheno-v3.3-32K-GGUF

mradermacher · 工具包

Sao10K 的 Stheno 8B 模型的静态 GGUF 文件，大小从 3.3 GB 到 16.2 GB。适合想在自己电脑上运行 8B 模型的人，许可证为非商业。

KnowLine-4B-Gen5.5-GGUF

mradermacher · 工具包

PelaAI 的 KnowLine 4B 模型的静态 GGUF 文件，大小从 2.1 GB 到 8.8 GB，标注了英文和中文。适合想在自己电脑上运行小模型的人。

VulnLLM-R-7B-8bit

mlx-community · 工具包

通过 mlx-lm 运行 VulnLLM-R-7B 的 8 位 MLX 版本，用于文本生成。适合想在本地试用该模型的开发者。模型卡没有说明它的训练用途。

Qwen3.6-35B-A3B-4bit

mlx-community · 工具包

Qwen3.6-35B-A3B 的 4-bit MLX 转换版，可在 Apple Silicon Mac 上回答文本和图片提示词。适合想用 mlx-vlm 在本地运行这个 Qwen 模型的人。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

Mistral-7B-Instruct-v0.1

mistralai · 工具包

Mistral 推出的 7B 指令微调聊天模型，基于 Mistral-7B-v0.1，用公开的对话数据集微调。适合想要一个能遵循提示词的小型开放模型的开发者。

MiroThinker-v1.0-8B

miromind-ai · 工具包

一个开放的研究智能体模型，能在长上下文中推理，并在每个任务里多次调用工具查找信息。基于 Qwen3-8B 的 8B 版本，适合在自己硬件上运行研究智能体的开发者。

Phi-4

microsoft · 工具包

Microsoft Research 推出的 14B 开放语言模型，针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能，或研究中等规模模型的开发者。

GLM-5.3-Flash EXL3 4bpw for TensorFold

Mia-AiLab · 工具包

为 TensorFold 准备的 GLM-5.3-Flash 4 位 EXL3 量化版，在大小相同的情况下 KL 散度低于流行的 TR3-4bpw 量化版。适合在 DGX Spark 机器上部署大模型的人。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Maincoder-1B

Maincode · 工具包

根据函数签名或文档字符串补全并编写 Python 代码。这是 Maincode 的 1B 代码模型，小到能在消费级硬件上运行，适合想在本地做代码补全的开发者。

Qwen3.8-27B-MLX-8bit

lmstudio-community · 工具包

在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型，适合想在本地回答图片问题的人。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

Qwen3.8-27B-oQ8e-mtp

Jundot · 工具包

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。

Qwen3.8-27B-oQ4e-mtp

Jundot · 工具包

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

GLM-5.3-Flash-oQ4e-mtp

Jundot · 工具包

zai-org 的 GLM-5.3-Flash 多模态混合专家模型的混合精度 MLX 副本，约每个权重 4.6 位，包含视觉编码器和多词元预测头。

Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

Joakimpalm-Zen · 工具包

把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件，不是原模型的忠实替身。

humanizer-GGUF

jialinyyzz · 工具包

把 AI 写的英文和中文草稿重写成读起来像真人写的，同时保留数字、日期、名字和引语。一个 12B 模型，以 GGUF 文件提供，可在本地运行。