来自 Hugging Face 的 AI 项目

gemma-4-26B-A4B-it Cactus CQ

Cactus-Compute · 工具包

Google gemma-4-26B-A4B-it 聊天模型的 2 位、3 位和 4 位压缩副本，使用 Cactus 权重格式。专为通过 Cactus 运行时在 ARM 设备上运行而做。

Spark-X2.6-4B-FP8

XHToken · 工具包

面向设备端运行的 4.1B 参数紧凑文本模型，FP8 版本，有 none、low、high 三档思考等级，支持中英文。适合在小型硬件上做编程和智能体任务。

Spark-X2.6-1.7B-Base

XHToken · 工具包

一个紧凑的 1.7B 语言模型，面向设备端使用，支持英文和中文，在编程、智能体任务和长上下文上有提升，并有三档可调的思考级别。适合在本地运行模型的开发者。

Indic Tiny TTS: Hindi

sulabhkatiyar · 工具包

用女声或男声朗读天城文书写的印地语文字，小到可以在没有 GPU 的 CPU 上运行。适合给应用加入印地语语音的开发者。

Chatterbox-Nano

ResembleAI · 工具包

这个 110M 参数的模型在普通 CPU 上朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合需要快速设备端语音、内存和延迟预算都很紧的开发者。

Gemma 4 12B IT (LiteRT-LM)

litert-community · 工具包

在你自己的桌面上运行 Gemma 4 12B，支持文本、图像和音频输入，不需要联网。这是 LiteRT-LM 版本，适合想在 Windows、macOS 或 Linux 上私密地本地生成的开发者。

Granite-4.0-H-350M

ibm-granite · 工具包

用 IBM 推出的 340M 参数指令模型处理摘要、分类、抽取、问答、RAG、代码任务和工具调用，支持 12 种语言。适合需要紧凑设备端模型的开发者。

SmolVLM2-2.2B-Instruct

HuggingFaceTB · 工具包

同时回答关于视频、图像和文字的问题，用一个 2.2B 模型，视频推理约需 5.2 GB GPU 显存。适合构建设备端视觉助手的开发者。

Maple-Preview

deepgrove · 工具包

一个 20B 的三值权重推理模型，每个词元激活约 1B 参数。为快速的设备端使用而设计，检查点为 5.31 GB，上下文为 131,072 词元。这是一个预览版，在智能体任务上较弱。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

SmolLM2-360M

HuggingFaceTB · 工具包

用一个 3.62 亿参数、训练了 4 万亿词元、轻到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用小型基础模型做测试或微调的开发者。

Smaug-Decisions

abacusai · 工具包

针对音频、图像或文本的提问，一次前向传播就给出每个选项的概率，不生成文字。这是从 Gemma 4 E4B-it 微调而来的 4B 决策模型。

Zabibu Fikra Model 2 (4B)

zabibutechnika · 工具包

用一个 4B 模型以斯瓦希里语和英语作答，设计为在你自己的设备上离线私密运行。适合需要非洲语境（如肯尼亚数据）的本地助手。

MNN-Pocket-0.3B-Base

taobao-mnn · 工具包

约 300M 参数的预训练基础语言模型，支持中文和英文，与 MNN 推理引擎一起设计，面向设备端使用，可作为继续训练或微调的起点。

1-bit Bonsai 27B (MLX)

prism-ml · 工具包

在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型，上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。

Bonsai-1.7B-GGUF

prism-ml · 工具包

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

Gemma 4 E4B IT (LiteRT-LM)

litert-community · 工具包

在手机、桌面、IoT 开发板和网页上运行小型 Gemma 4 模型，不需要联网。这是 3.66 GB 的 LiteRT-LM 版本，适合想要私密的设备端生成的开发者。

Spark-X2.6-4B-AgentFast

JamieBradfield · 工具包

几乎没有思考延迟地调用工具并遵循指令，是 Spark-X2.6-4B 的 4.1B 微调模型。适合构建需要快速、直接调用工具的本地智能体的人。

SmolLM2-135M

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用微型模型做测试或微调的开发者。

POCKET-35B-GGUF

FINAL-Bench · 工具包

用 llama.cpp 从 GGUF 文件在你自己的电脑上运行针对韩语调优的 35B 模型，有纯 CPU 路径，不需要 GPU。适合想在本地使用语言模型的人。

Phonon-2.5 English

FermionResearch · 工具包

把英语语音转成文字，下载只有 157.6 MB，可在 Apple silicon、Linux 和 Windows 的 CPU 上运行，不需要 GPU。适合做听写、字幕、合规或搜索的团队。

MNN-Pocket-0.3B-MNN

taobao-mnn · 工具包

通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型，是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。

MNN-Pocket-0.3B-Dec

taobao-mnn · 工具包

读取一段文字状态和你的问题，在一次计算里为每个问题从你给的选项中选出答案，并给出各候选项的概率。这是面向开发者的决策模型，不是聊天模型。

SmolLM2-135M-Instruct

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合需要在 Python 或 JavaScript 中使用微型聊天模型的开发者。

SmolLM2-1.7B-Instruct

HuggingFaceTB · 工具包

聊天、改写和总结文本，还能调用函数，是一个小到可以在设备上运行的 1.7B 紧凑模型。这是 HuggingFaceTB 经过指令微调的 SmolLM2，适合想要小型英文模型的开发者。

Phonon-2.5

FermionResearch · 工具包

用一个 156.2 MB、不需要显卡的模型转写 25 种语言的语音。这是 FermionResearch 的开源模型，适合 Apple silicon 的 Mac 以及普通的 Linux 或 Windows 电脑。

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。

MiniCPM5-2B-GGUF

openbmb · 工具包

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

Idol on LiteRT

litert-community · 工具包

用 Idol 模型的 LiteRT 版本和一个示例应用，在 Android 手机上把一张物体照片变成 3D 高斯点云，适合移动端和 3D 开发者。

embeddinggemma-2-740m-litert-lm

litert-community · 工具包

为 LiteRT-LM 设备端运行打包的 740M 多模态 EmbeddingGemma 2。它把文字、代码、图片、视频和音频映射到同一个 768 维向量空间。

Needle 2

Cactus-Compute · 工具包

一个 45M 参数的开放模型，用于工具调用、设备操作和结构化提取，打包成一个 14 MB 的二进制文件，约 28 MB 内存即可运行。适合需要在手机、开发板和浏览器上做函数调用的开发者。

Supertonic 3

Supertone · 工具包

把文字转成 31 种语言的语音，通过 ONNX Runtime 在你自己的设备上运行，无需调用云端。适合想要本地快速语音输出并使用预设声音的开发者。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

Laplace-1-Vector

JuneoAI · 工具包

判断 AI 智能体该采取哪个行动、谁该负责任务、谁能看到什么，这是一个能在你自己硬件上运行的 4B 模型，组织数据不出门。

CherryPit-1.2-2B

DRUPEs · 工具包

基于 MiniCPM5-2B 的 2B 编程和聊天模型，在需要多个功能合在一个组件里的网页应用上进步很大。适合想要本地小型代码模型的开发者。

Silencio-2

BlueRoseLabs · 工具包

把英文文本转成 24 kHz 语音，支持情绪和声音标签，还能从一小段参考音频复制音色。这是基于 Kyutai 的 Pocket TTS 微调的小型文本转语音模型。

Spark-X2.6-1.7B

XHToken · 工具包

用面向本地设备的紧凑 1.7B 模型生成文本，有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。

embeddinggemma-2-GGUF

unsloth · 工具包

把文字变成 768 维向量，用于设备端的搜索、检索和聚类。基础模型还支持图像、视频和音频。由 Unsloth 打包成 GGUF。

Klein-TTS-X1.5-Pro

klein-ml · 工具包

用 13.1M 参数的模型把文字变成四种语言的 24 kHz 语音，有 17 种声音，在 CPU 上比实时还快。适合需要小而快的语音模型的开发者。

Underdog Bark 3.0

ConwayResearch · 工具包

用一个 0.6B 模型把英语语音转成文字，下载只有 163 MB，基于 NVIDIA 的 Parakeet TDT 0.6B v3。适合想要小巧本地转写的开发者和苹果芯片用户。非商业许可。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-E2B-it-litert-lm

litert-community · 工具包

打包成 .litertlm 文件的 Gemma 4 E2B 指令微调模型，用于 LiteRT-LM 框架，适合在手机、桌面和边缘设备上私密地本地运行。

jevos-v4

feder-cr · 工具包

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

Needle 3

Cactus-Compute · 工具包

Cactus Compute 的小型设备端模型，用于工具调用、结构化提取和文本嵌入，通过 cactus Python 包使用。适合构建本地智能体的开发者。

MiniCPM5-2B

openbmb · 工具包

用面向设备端和本地使用的稠密 2B 级模型生成文本，涵盖英文和中文的编程、数学、长上下文、工具使用和智能体任务。适合硬件有限的开发者。

BotPsy-0.8B

qvac · 工具包

一个专为函数调用和智能体工作流设计的 0.8B 小模型，基于 Qwen3.5-0.8B，轻到可以在设备上运行，适合想要本地使用工具的助手的开发者。

Spark-X2.6-4B-GGUF

XHToken · 工具包

面向设备端使用的紧凑 4B 语言模型的 GGUF 版本，针对编程、智能体和长上下文调校，有从无到高的三档思考级别。支持英文和中文。

MNN-Pocket-0.3B-GGUF

taobao-mnn · 工具包

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

BotPsy-0.8B-GGUFs

qvac · 工具包

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

phonon-31m-en

gradium · 工具包

小型英文文字转语音模型，流式输出自然的 24 kHz 音频，可在笔记本 CPU、手机或浏览器标签页里运行。适合想在设备上出声的开发者。