来自 Hugging Face 的 AI 项目

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Agaram 2.5B

murai-labs · 工具包

能用泰米尔文、罗马化泰米尔语和英语聊天，也能在泰米尔语和英语之间翻译。这是 Murai Labs 从零训练的 2.5B 模型，适合泰米尔语使用者、研究人员和开发者。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

Maya-1

maya-research · 工具包

一个开放权重的文字转语音模型，你用日常的话描述声音，并加入内嵌的情绪提示。适合需要有表现力、可设计声音的开发者和创作者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

tinyllamas

karpathy · 工具包

提供一系列采用 Llama 2 设计、在 TinyStories 数据集上训练的小型语言模型，为 Karpathy 的 llama2.c 项目而做。适合想试试小模型的开发者。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

ibnsina-1.5b

ibnsina-llm · 工具包

一个小型波斯语语言模型，可离线写作、摘要、翻译和聊天，主要用波斯语文本从零训练。可通过 ollama、LM Studio 或 llama.cpp 在笔记本上运行。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

ALLaM-7B-Instruct-preview

humain-ai · 工具包

用阿拉伯语和英语回答问题、遵循指令。这是沙特数据与人工智能管理局（SDAIA）下属国家人工智能中心从零训练的 7B 模型，适合构建阿拉伯语工具的开发者和研究人员。

phonon-31m English for llama.cpp

gradium · 工具包

在命令行或本地服务器上把英语文字转成语音，是 Phonon 31M 模型面向 llama.cpp 的 GGUF 版本。适合已经在用带 Phonon 支持的 llama.cpp 的开发者。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

embeddinggemma-2 GGUF

ggml-org · 工具包

用 llama 命令或 Llama 应用运行 Google embeddinggemma-2 的 GGUF 副本，这是一个 271M 的特征提取模型。适合想在本地使用小型文本嵌入模型的开发者。

Clef-GGUF

ggml-org · 工具包

Cloudflare 的 Clef 决策模型的 GGUF 文件，支持图像和文本输入。用 llama.cpp 工具提供服务，通过决策 API 路径调用。适合在自己机器上运行它的开发者。

theOG-50M

DrunkkToys · 工具包

根据一段英文说明写出 Python 函数。这是在一台笔记本上从零训练的 50M 参数代码模型，小到可以在 Ollama、LM Studio 或 llama.cpp 里离线运行。

gemma-4-31b-it-exl3-optimized

Dino0040 · 工具包

提供为 Gemma 4 31B-it 构建任意码率的优化 EXL3 量化版本所需的测量数据和配方。适合用 exllamav3 做量化，并想跳过耗时测量步骤的人。