来自 Hugging Face 的 AI 项目

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-E2B-it-litert-lm

litert-community · 工具包

打包成 .litertlm 文件的 Gemma 4 E2B 指令微调模型，用于 LiteRT-LM 框架，适合在手机、桌面和边缘设备上私密地本地运行。

jevos-v4

feder-cr · 工具包

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

Needle 3

Cactus-Compute · 工具包

Cactus Compute 的小型设备端模型，用于工具调用、结构化提取和文本嵌入，通过 cactus Python 包使用。适合构建本地智能体的开发者。

MiniCPM5-2B

openbmb · 工具包

用面向设备端和本地使用的稠密 2B 级模型生成文本，涵盖英文和中文的编程、数学、长上下文、工具使用和智能体任务。适合硬件有限的开发者。

BotPsy-0.8B

qvac · 工具包

一个专为函数调用和智能体工作流设计的 0.8B 小模型，基于 Qwen3.5-0.8B，轻到可以在设备上运行，适合想要本地使用工具的助手的开发者。

Spark-X2.6-4B-GGUF

XHToken · 工具包

面向设备端使用的紧凑 4B 语言模型的 GGUF 版本，针对编程、智能体和长上下文调校，有从无到高的三档思考级别。支持英文和中文。

MNN-Pocket-0.3B-GGUF

taobao-mnn · 工具包

用 192 到 726 MB 的 GGUF 文件运行一个紧凑的 0.3B 中英文语言模型，专为手机、笔记本等设备端使用而做，可配合 llama.cpp、LM Studio 或 ollama。

BotPsy-0.8B-GGUFs

qvac · 工具包

0.8B 工具调用模型 BotPsy 的 GGUF 版本，提供 BF16、Q8_0 和 Q4_K_M 三种文件，用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。

phonon-31m-en

gradium · 工具包

小型英文文字转语音模型，流式输出自然的 24 kHz 音频，可在笔记本 CPU、手机或浏览器标签页里运行。适合想在设备上出声的开发者。

Whistle

Cactus-Compute · 工具包

转写七种语言的语音，给出单词时间戳和语音嵌入，模型只有 16.9 MB。一段简短的 Python 脚本就能运行，适合给应用加入语音功能的开发者。

Cactus runtime

Cactus-Compute · 工具包

提供预编译的运行时二进制文件，在手机、笔记本、服务器和浏览器上本地运行文字、语音和视觉模型。适合在应用里发布设备端 AI 的开发者。

Mach Boom

SyzygyResearch · 工具包

用 Gradium 的 Phonon 31m 模型的 3.5 位版本，在单个 CPU 核心上把英文文字变成语音，速度比实时快好几倍，适合需要小巧本地语音输出的开发者。

Earlybird

sahilmahendrakar · 工具包

在设备上把语音转成文字，并在说话人说完之前预测每个词，同时给每个词打分。这是 16.8 MB 的英语模型，适合语音智能体和实时字幕。

Raon-1 nano

KRAFTON · 工具包

用韩语和英语生成文本、遵循指令、保持对话上下文并调用工具。一个 3.1B 参数、上下文 262,144 个 token 的语言模型，适合开发者和设备端应用。

MNN-Pocket-0.3B

taobao-mnn · 工具包

一个约 300M 参数、支持英文和中文的小型指令微调语言模型，与 MNN 推理栈一起设计，面向手机和平板运行。适合构建端侧助手的开发者。

Leokani-tts 7M

milliwattlabs · 工具包

用一个只有 7M 参数的小型语音合成模型朗读你输入的任何一句话，它在浏览器里用你自己的 CPU 运行，适合想要本地语音输出的人。

Supertonic 3 (TTS)

Supertone · 工具包

Supertonic 3 文字转语音的网页演示，Supertone 称它快速、在设备上运行、支持多语言且准确。在浏览器里运行。适合想听听它的创作者和开发者。

LinnetTTS

VoxRT · 工具包

用 LinnetTTS 把文字朗读出来，这是一个小型的设备端文字转语音模型，能流式输出音频，在 CPU 上实时运行。适合开发者，也适合想在浏览器里听听效果的人。