开发者 AI 技能与智能体

Laya-GGUF

ggml-org · 工具包

一个 4.21 亿参数的小型决策模型，GGUF 格式，在本地提供服务，通过 systemone API 调用。适合使用 llama.cpp 工具、想要紧凑分类器的开发者。

Kev-4B

ggml-org · 工具包

通过 llama 服务的 /v1/systemone API 做决策，来自一个 4.2B 模型的 GGUF 副本。适合想要小型本地决策模型的开发者。

gemma-4-E4B-it-GGUF

ggml-org · 工具包

Google gemma-4-E4B-it 的 GGUF 格式副本，可以用 Llama 应用或 llama serve 命令在你自己的电脑上运行，适合想在本地运行 Gemma 的人。

gemma-4-12B-it GGUF

ggml-org · 工具包

通过 Llama 应用或 llama 命令，在你自己的电脑上运行 Google 的 gemma-4-12B-it，文件是 ggml-org 自动转换的 GGUF。适合在本地运行模型的人。

POCKET-35B-GGUF

FINAL-Bench · 工具包

用 llama.cpp 从 GGUF 文件在你自己的电脑上运行针对韩语调优的 35B 模型，有纯 CPU 路径，不需要 GPU。适合想在本地使用语言模型的人。

GLiNER2.5 Multi

fastino · 工具包

用一个多语言模型从文本中提取实体、标签、结构化记录和关系。这是 fastino 的 287M 参数提取器，可在 CPU、CUDA 或 MPS 上本地运行，适合构建文本流水线的开发者。

KVARK Sparkle 1.1 27B GGUF

Egzakta · 工具包

用多种大小的 GGUF 文件运行 27B 的 KVARK Sparkle 1.1 模型，可选图像输入和推测解码。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Kvark-Sparkle-1.0-27B-GGUF

Egzakta · 工具包

KVARK Sparkle 1.0 这个 27B 视觉语言模型的 GGUF 文件，适用于 llama.cpp、Ollama 和 LM Studio，保留了推测解码头。适合在本地运行大模型的人。

Qwen3.8-27B-Jumbo-Fusion-IQ-747-900-Turbo-Brilliance-50X

DavidAU · 工具包

DavidAU 对 27B Qwen 模型的 GGUF 微调版，有可切换的指令和推理模式，以及内置的帮助系统。Hugging Face 把它列为图文转文字。供本地运行。

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

DavidAU · 工具包

回答问题并读取图像，思考过程短得多。这是 DavidAU 对 27B 的 Qwen 3.8 的调优版 GGUF，目标是在保持准确度的同时减少推理 token，适合在本地运行模型的人。

Maximizing Model Performance 指南

DavidAU · 工具包

指导你为本地语言模型调节采样器和参数，并给出在 LM Studio、SillyTavern、Ollama 和 Koboldcpp 里设置系统提示词、推理模型和专家数量的步骤。

Qwen3.8-27B iMatrix NVFP4 MTP GGUF

cdiamond · 工具包

Qwen3.8-27B 的 17.1 GB 混合精度 GGUF，保留了多词元预测层，为 24 GB GPU 上的 256K 上下文和视觉功能调优。适合在 llama.cpp 里本地运行大模型的人。

Qwen3.6-35B-A3B MTP GGUF

byteshape · 工具包

用带多词元预测的 GGUF 量化版本运行 Qwen3.6-35B-A3B，在 llama.cpp 里让 GPU 解码更快。由 ByteShape 制作，适合在显卡上运行本地模型的人。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

Spark-X2.6-1.7B-DSpark-GGUF

XHToken · 工具包

一个小型草稿模型，通过推测解码加速 Spark-X2.6-1.7B，每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。

gemma-4-E2B-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google DeepMind Gemma 4 E2B 指令微调模型的 GGUF 文件，接收文本和图像并输出文本，上下文为 128K。适合在笔记本和小型机器上本地运行模型的人。

gemma-3-4b-it-GGUF

unsloth · 工具包

在你自己的电脑上回答关于文字和图片的问题，是 Unsloth 打包的 Google Gemma 3 4B 指令模型的 GGUF 副本。适合想用小型本地模型的开发者和用户。

OmniVoice GGUF

Serveurperso · 工具包

提供 OmniVoice 文字转语音模型的 GGUF 权重，配合 omnivoice.cpp 运行时使用，附带声音设计和声音克隆示例。适合想在本地生成多语言语音的开发者。

gemma-4-31B-it-scotoma-2-GGUF

ReadyArt · 工具包

这个模型是 ReadyArt 从自家 gemma-4-31B-it-scotoma-2 打包出来的 GGUF 版本，参数量 30.7B，可在本地运行。适合想以 GGUF 形式使用这个模型的人。

Qwen3-4B-GGUF

Qwen · 工具包

一个 4B 的 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 1.5B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本上辅助写代码。适合想要轻量本地代码助手的开发者。

Kokoro-82M-v1.0-ONNX

onnx-community · 工具包

用 Kokoro 把英文文本转成语音，这是一个 8200 万参数、打包成 ONNX 文件的文字转语音模型，可在 JavaScript 和 Python 中使用。适合想在应用里加一个小型本地语音的开发者。

AREX-2 GGUF

mradermacher · 工具包

BAAI 的 AREX-2（26.9B）的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行大模型、想挑一个放得进自己内存的尺寸的人。

Mellum2.1-12B-A2.5B-Thinking-GGUF

JetBrains · 工具包

在 llama.cpp、Ollama 或 LM Studio 里本地运行 JetBrains 的 12B 推理模型，有五种 GGUF 大小可选。适合想在自己电脑上用上下文为 131,072 个 token 的思考模型的开发者。

Axion-1.0-35B-APEX-I-MiniPlus-V2.1-GGUF

IsValorum · 工具包

用一个混合精度的压缩 GGUF 文件，在 llama.cpp 里本地运行 35B 的 Axion-1.0 模型。这是 IsValorum 的量化版本，适合想在自己硬件上运行大型混合专家模型的人。

Kokoro-82M-v1.1-zh

hexgrad · 工具包

用一个 82M 参数的文字转语音模型朗读英文和中文文本。这是在 Kokoro 上做的一次短期训练，加入了 100 位中文说话人，适合想要小型本地声音的开发者。

gpt-oss-20b-GGUF

ggml-org · 工具包

在你自己的电脑上生成文字，使用 ggml-org 打包的 OpenAI gpt-oss-20b 的 GGUF 版本。适合想在 Llama 应用或终端里本地运行开源 20B 模型的人。

Qwen3.8-27B-Randean-MXFP4

flechin · 工具包

一个 27B 推理模型，经过微调后倾向于直接回答而不是含糊其辞，并量化为 MXFP4，让 vLLM 能在单块 32 GB GPU 上提供服务，适合运行本地推理和工具调用模型的开发者。

Qwen3.8-27B-Ridge-GGUF

empero-ai · 工具包

把 Qwen3.8-27B 压缩成每权重 3.7 位的 GGUF 文件来运行，适合 16 GB 的 GPU，还可选图像输入。适合用 llama.cpp、Ollama 或 LM Studio 在本地跑模型的人。

Spark-X2.6-4B GGUF

bartowski · 工具包

支持中英文的小型聊天模型，GGUF 文件从完整 bf16 到约 2.4 GB，供 llama.cpp 使用，有低或高两档思考设置。适合想要紧凑本地助手的开发者。

Spark-X2.6-4B-DSpark-GGUF

XHToken · 工具包

作为推测解码的小型草稿模型，为 Spark-X2.6-4B 加速文本生成，提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。

Qwen3.5-2B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-2B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

Nanbeige4.3-33B-GGUF-UltraOptimised-Curated-Protium

SolsticeAI · 工具包

为 llama.cpp 和 Ollama 提供 33.1B 的 Nanbeige4.3 模型的 GGUF 量化文件，附带一套推理协议和最高 524,288 个词元的上下文。适合在本地运行编程模型的开发者。

free-claude-code

Alishahryar1 · 工具包

把 Claude Code、Codex、Aider 等编程工具接到多家提供商的模型上，包括免费和本地的，可在终端、IDE、手机或浏览器中使用。独立项目，与 Anthropic 无关联。

Qwen2.5-1.5B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5 1.5B 小型对话模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 在笔记本或普通 GPU 上运行。适合想要轻量本地助手的人。

Qwen3.5-0.8B-weight-space-programming-GGUF

prithivMLmods · 工具包

一个小型 Qwen3.5 0.8B 模型的 GGUF 版本，它的权重被直接修改以减少推理循环。适合想用多种量化大小在本地运行它的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

MiniCPM5-2B-GGUF

openbmb · 工具包

提供 MiniCPM5-2B 的 GGUF 文件，这是一个支持中英文的小型稠密文本模型，适合在设备上和本地使用。适合想在普通硬件上用紧凑模型做编程、数学和工具调用的人。

ttf-Qwen3.8-Flash-Next-GGUF

oguzeldereli · 工具包

用一个 40.4 GB 的 GGUF 文件运行被压成三值权重的 180B 混合专家模型 Qwen3.8-Flash-Next，比 FP8 版本小 4.6 倍。适合配合打过补丁的 llama.cpp 在本地使用。

ttf-Qwen3.8-27B-GGUF

oguzeldereli · 工具包

把 Qwen3.8-27B 压缩成三值权重的 GGUF 文件，可在 12 GB 显卡上运行，有 8.2 GB 和 6.74 GB 两个版本。适合想在普通硬件上跑大型本地模型的人。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

LFM2.5-8B-A1B-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的稀疏混合专家模型 LFM2.5-8B-A1B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统和 12 种推理模式。8.5B 的实验性发布，供本地运行。

LFM2.5-2.6B-Qwen3.8-Turbo-Brilliance-Power-X12-NEO-MAX-GGUF

DavidAU · 工具包

LiquidAI 的 LFM2.5-2.6B 的 GGUF 版本，加入 DavidAU 的 Turbo Brilliance 系统，有 12 种推理模式和 12 种指令模式，在提示词里切换。2.7B 测试版，供本地运行。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

Jackrong_Qwopus3.8-27B-Coder-Flash-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Jackrong 的 Qwopus3.8-27B-Coder-Flash 制作的 GGUF 量化版本，大小从 17 GB 到 55 GB。适合在本地用 llama.cpp 运行 27B 模型。

Sekai-1

8BitStudio · 工具包

一个 95.6M 参数的英文聊天模型，在单块 RTX 5060 Ti 上从零训练，小到可以在 CPU 上运行。适合想试玩小型本地语言模型的人。

Qwen3.5-9B-MTP-GGUF

unsloth · 工具包

Qwen3.5 9B 的 GGUF 版本，支持在 llama.cpp 里用多词元预测做推测解码，生成更快。适合会自己构建 llama.cpp、想在本地运行这个模型的人。

Qwen3.5-0.8B-GGUF

unsloth · 工具包

unsloth 制作的 Qwen3.5-0.8B 小型 GGUF 版本，能读图片和文字并用文字回答。适合在本地做原型、微调和研究。

gpt-oss-20b-GGUF

unsloth · 工具包

在你自己的电脑上运行 OpenAI 开放权重的 gpt-oss-20b 推理模型，由 unsloth 打包成 GGUF 文件。适合想要本地模型、并能调节推理强度的开发者。

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

Supertonic 3

Supertone · 工具包

把文字转成 31 种语言的语音，通过 ONNX Runtime 在你自己的设备上运行，无需调用云端。适合想要本地快速语音输出并使用预设声音的开发者。

Bonsai-27B-gguf

prism-ml · 工具包

把 27B 级推理模型做成约 3.9 GB 的 1-bit GGUF 文件，在 llama.cpp 上运行，笔记本或一张显卡就能放下。适合想在日常硬件上做本地推理的人。

Sharp-Spark-X2.5-4B-GGUF

peculiar-ragdoll · 工具包

4B 编程模型 Spark-X2.5 的压缩 GGUF 版本，针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。

Qwen Sharp Chat Templates

peculiar-ragdoll · 工具包

替换 Qwen3.5、3.6 和 3.8 模型的聊天模板，让它们回答前少想一些、回复更紧凑。适合在本地运行 Qwen 做编程和知识工作的人。

Qwen3.8-27B-4bit (MLX)

mlx-community · 工具包

Qwen3.8-27B 的 4 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行视觉语言模型的开发者。

gemma-4-12B-it

google · 工具包

接收文字、图片和音频并输出文字回答，是 Google DeepMind 的 12B 指令微调模型，上下文 256K 词元，思考模式可配置。适合在本地运行开放模型的开发者。

CherryPit-1.2-2B

DRUPEs · 工具包

基于 MiniCPM5-2B 的 2B 编程和聊天模型，在需要多个功能合在一个组件里的网页应用上进步很大。适合想要本地小型代码模型的开发者。

Nanbeige_Nanbeige4.3-33B-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Nanbeige4.3-33B 制作的 GGUF 量化版本，大小约从 21 GB 到 66 GB。适合在本地用 llama.cpp 运行 33B 的中英文文本模型。

Spark-X2.6-1.7B

XHToken · 工具包

用面向本地设备的紧凑 1.7B 模型生成文本，有三档可调的思考等级。适合想在本地硬件上获得编程、智能体和长上下文帮助的开发者。

Qwen2.5-VL-7B-Instruct-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen2.5-VL-7B-Instruct 的 GGUF 文件，这个视觉语言模型能读图像、图表、文档和长视频，还能输出坐标和结构化数据。适合在本地运行它的人。

gemma-4-12b-it-GGUF

unsloth · 工具包

Unsloth 制作的 Google 指令微调 Gemma 4 12B 的 GGUF 量化版本，一个能读文字、图片、音频和视频并输出文字的模型，适合本地运行。

Qwen3.8-27B-GGUF

ggml-org · 工具包

以 GGUF 文件形式运行 Qwen3.8-27B，这是一个 26.9B 的模型，能读图片和文字并用文字回复，通过 llama 工具在本机使用，适合想把它放在自己电脑上的你。

Underdog Bark 3.0

ConwayResearch · 工具包

用一个 0.6B 模型把英语语音转成文字，下载只有 163 MB，基于 NVIDIA 的 Parakeet TDT 0.6B v3。适合想要小巧本地转写的开发者和苹果芯片用户。非商业许可。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

gemma-4-31B-it-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Google 的 Gemma 4 31B 指令微调模型，支持文本和图像输入，上下文很长。适合想要强大本地推理和编程模型的开发者。

Idol-GGUF

TimeLordRaps · 工具包

SperiD Labs 的 Idol 的 8-bit GGUF 版本，把一张图像变成 3D 高斯点云和网格，用 idol.cpp 在本地运行。适合做图像转 3D 的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

halogen-qwen3.8-flash-next

peonist-ai · 工具包

存放 halogen-flash-server 所用的模型权重，这个引擎能在 AMD Strix Halo 机器上运行 Qwen3.8-Flash-Next，适合想在本机运行该模型的这类硬件的主人。

jevos-v4

feder-cr · 工具包

一个本地决策模型，在笔记本 CPU 上约 28 到 130 毫秒就能回答关于文本的是非、选择和打分问题，为每个答案返回概率。适合想要免费本地方案、替代云端决策 API 的开发者。

ZONOS3-Mini GGUF

AtomicChat · 工具包

把 ZONOS3-Mini 文本转语音模型打包成适用于 llama.cpp 的 GGUF 文件，内置 27 种声音，有从 0.41 到 1.61 GB 的六种主干大小。适合在本地运行语音的开发者。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

DeepHat-V1-7B

DeepHat · 工具包

面向网络安全和 DevOps 工作的 7B 编程模型，由 Qwen2.5-Coder-7B 微调而来。适合想要本地小模型的安全和运维工程师，须遵守附加的使用限制。

Qwen3.6-35B-A3B-MTP-GGUF

unsloth · 工具包

通过 Unsloth 的 GGUF 文件在本地运行 Qwen3.6-35B-A3B，带多词元预测，让 llama.cpp 解码更快。适合想要本地智能体编程模型的开发者。

flint-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Flint，这是面向编程智能体的 39.8B 混合专家模型，每个词元只用约 2.5B 参数。适合在本地运行编程智能体的开发者。

Ling-3.0-tiny

inclusionAI · 工具包

用 7.9B 的混合推理模型生成文本，每个词元只激活 1.3B 参数，适合本地和低资源环境。适合不想用数据中心 GPU 却要推理和智能体能力的开发者。

Needle 3

Cactus-Compute · 工具包

Cactus Compute 的小型设备端模型，用于工具调用、结构化提取和文本嵌入，通过 cactus Python 包使用。适合构建本地智能体的开发者。

Alpie Seed 9B GGUF

169Pi · 工具包

通过三种位深的 GGUF 文件，在你自己的机器上运行 169Pi AI 的图文模型 Alpie Seed 9B。适合想在本地做视觉语言对话的开发者。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

MiniCPM5-2B

openbmb · 工具包

用面向设备端和本地使用的稠密 2B 级模型生成文本，涵盖英文和中文的编程、数学、长上下文、工具使用和智能体任务。适合硬件有限的开发者。

Qwen-Fixed-Chat-Templates

froggeric · 工具包

用一个即插即用的 Jinja 文件替换 Qwen 官方聊天模板，修复渲染错误、缓存失效、浪费词元和智能体卡住的问题。适合在本地运行 Qwen 3.5、3.6 和 3.8 模型的人。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。

BotPsy-0.8B

qvac · 工具包

一个专为函数调用和智能体工作流设计的 0.8B 小模型，基于 Qwen3.5-0.8B，轻到可以在设备上运行，适合想要本地使用工具的助手的开发者。

Raon-1 nano (MLX)

KRAFTON · 工具包

提供适用于 Apple silicon 的 4-bit MLX 版 Raon-1 nano 权重，让开发者在 Mac 上本地运行韩英双语聊天模型。适合应用开发者和本地模型用户。

Ornith-1.5-35B-A3B-GGUF

ornith-ai · 工具包

运行一个面向编程和智能体任务的 35B 混合专家文本模型，每个词元只用约 3B 参数。这个仓库提供它的 GGUF 文件，供本地使用。

gemma-4-12B

google · 工具包

Google 的 Gemma 4 12B Unified 模型，是能读文字、图片、音频和视频并输出文字的开放模型，上下文 256K，不需要单独的编码器。适合运行本地 AI 的开发者。

Qwen3.6-35B-A3B-GGUF

unsloth · 工具包

用 Unsloth 的 GGUF 文件运行 Qwen3.6-35B-A3B，这是能读图和文字的混合专家模型，每个词元只用约 3B 参数。适合在本地运行大模型的开发者。

gpt-oss-20b

openai · 工具包

根据文字提示词写作、推理并调用工具，是 OpenAI 的 21B 开放权重模型，可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。

MOSS-Image-SFT-8-steps-dmd

lodestones · 工具包

把 MOSS-Image-SFT 的出图步数减到 8 步且不用 CFG，以 ComfyUI 的 LoRA 文件提供。这是一个仍在进行中的蒸馏，适合在本地生成图像的人。

Cactus runtime

Cactus-Compute · 工具包

提供预编译的运行时二进制文件，在手机、笔记本、服务器和浏览器上本地运行文字、语音和视觉模型。适合在应用里发布设备端 AI 的开发者。

Qwen3.8-27B Turbo Brilliance NEO MAX MTP GGUF

DavidAU · 工具包

以 GGUF 形式运行 Qwen3.8-27B，带有一组可在提示词里切换的推理和指令模式。适合运行本地模型、喜欢调整模型工作方式的人。

Muse Glimmer 30B

meta-models · 工具包

读取文字和图片，在本地机器上完成工具调用、多步推理等智能体任务，是从 Muse Spark 蒸馏出的 30B 模型。适合构建本地智能体的开发者。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Mach Boom

SyzygyResearch · 工具包

用 Gradium 的 Phonon 31m 模型的 3.5 位版本，在单个 CPU 核心上把英文文字变成语音，速度比实时快好几倍，适合需要小巧本地语音输出的开发者。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的偏编程 GGUF 版本，去掉了一半专家，把 BF16 的 354 GB 缩到 58.4 GB，同时保留图片输入，适合有大机器、想在本地用编程模型的人。