开发者 AI 技能与智能体

Ming-3.0-tts-tiny

inclusionAI · 工具包

inclusionAI 的多语言文字转语音模型，可根据短音频克隆声音，也能按描述设计声音，并控制情绪、语速和方言。推理需要它的 GitHub 项目。

DSpine

tencent · 工具包

为 Qwen3-8B 的推测解码一次起草多个词元，让模型服务器一次检查它们。适合推理工程师和推测解码研究人员。

Strata-Sage-A1.5-GGUF

ykarout · 工具包

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

MNN-Pocket-0.3B-Base

taobao-mnn · 工具包

约 300M 参数的预训练基础语言模型，支持中文和英文，与 MNN 推理引擎一起设计，面向设备端使用，可作为继续训练或微调的起点。

Mistral-7B-Instruct-v0.3

mistralai · 工具包

Mistral AI 的 7.2B 开源聊天模型，能遵循指令，还能调用你描述的函数。它由 Mistral-7B-v0.3 微调而来，可用 mistral_inference 或 transformers 运行。

Pluto 124M Chat

xxparthparekhxx · 工具包

一个完全在浏览器里运行的小型聊天模型，通过 onnxruntime-web，用 WebGPU 或 WebAssembly，没有服务器参与推理。适合想要私密、本地聊天演示的人。

StdGEN

hyz317 · 工具包

一个来自 hyz317 的 Gradio 应用，仓库里有分阶段的推理脚本和一个 Blender 文件夹，可以在浏览器里在线运行，也可以用 Python 在你自己的电脑上运行。

tiny-llm

CoolDip00 · 工具包

接着你输入的故事开头往下写，用的是一个从零训练、在 TinyStories 上训练的 30M 参数语言模型，由项目自己的推理服务器提供。这是一个在免费 CPU 上演示路由的学习性演示。

InferenceSupport

huggingface · 工具包

把人们引向 Hugging Face Hub 上关于 Inference Providers 功能的讨论，是 Hugging Face 运营的一个小型静态页面。适合想关注或提出该功能问题的 Hub 用户。

colibri

JustVugg · 工具包

这是一个分层推理引擎，通过从 NVMe 存储中流式传输专家模型，同时将密集层保留在内存中，从而运行大型混合专家模型。它通过 CUDA 和 Vulkan 为开发者支持多种硬件配置。

bitnet.cpp 1 比特推理框架

microsoft · 工具包

微软官方的 1 比特大模型推理框架，基于 llama.cpp。它能在 x86 和 ARM CPU 上运行 BitNet b1.58 这类三值模型，也有 GPU 内核。这份说明涵盖 Windows、Linux、GPU 内核和嵌入模型的安装步骤。