开发者 AI 技能与智能体

Qwen3.5-9B-OptiQ-4bit

mlx-community · 工具包

Qwen3.5-9B 的 4-bit 混合精度 MLX 版本，用于在 Apple Silicon 上本地生成文本，自带多词元预测头。适合在 Mac 上本地运行模型的人。

GLM-5.3-Flash EXL3 3.5bpw

Mia-AiLab · 工具包

GLM-5.3-Flash 的 EXL3 量化版，156 GB，路由专家更窄，比同一实验室的 4 位版本小约 11%。适合在本地 GPU 上运行大模型的人。

K2-Horizon-7B-GGUF

IFM · 工具包

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

Hydrogen-1.0 NVFP4

deep-principle · 工具包

Hydrogen-1.0 的 4-bit NVFP4 版本，这是 Deep Principle 的 381B 科学与研究助手模型，基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器，上下文为 1M 词元。

Qwen3.8-27B-AWQ-INT4

cyankiwi · 工具包

cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本，一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB，可在 Transformers、vLLM 或 SGLang 中加载。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

DeepSeek V4.1 Flash GGUF for DwarfStar

antirez · 工具包

为 Mac 用户提供 DeepSeek V4.1 Flash 经过校准的 2 位和 4 位 GGUF 文件，另有单独的视觉编码器，供 DwarfStar 的 Metal 引擎配合 SSD 流式加载使用。与其他 DeepSeek 权重不通用。

MNN-Pocket-0.3B-MNN

taobao-mnn · 工具包

通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型，是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。

Qwen3.8-27B-Splash

incoai · 工具包

通过 Inco AI 的 Splash 引擎在 Apple 芯片 Mac 上运行 Qwen3.8-27B，一个包里含 4-bit 模型、DFlash 2 草稿模型和视觉编码器。只能在 Splash 里使用。

Qwen3-VL for ComfyUI

Comfy-Org · 工具包

为 ComfyUI 文本编码器文件夹重新打包的 Qwen3-VL 4B 和 8B 模型文件，提供从 bf16 到 4-bit 风格的多种精度。适合需要 Qwen3-VL 文本编码器的 ComfyUI 用户。

Wan2.2 TI2V 5B GGUF

QuantStack · 工具包

一个 5B 参数的文字生成视频模型，转换成 GGUF 供 ComfyUI 使用，4 比特下估计约 2.5 GB，支持英文和中文提示词。适合想在自己电脑上生成视频的 ComfyUI 用户。

Qwen3.8-27B-4bit (MLX)

mlx-community · 工具包

Qwen3.8-27B 的 4 位 MLX 转换版，能读文字和图像并用文字回答，用 mlx-vlm 工具运行。适合想在本地运行视觉语言模型的开发者。

gemma-4-12B-it-qat-q4_0-gguf

google · 工具包

以 4-bit GGUF 文件运行 Google 的 Gemma 4 12B 指令微调模型，使用量化感知训练制作。能读取文本和图片，适合笔记本和消费级显卡。

gemma-4-E4B-it-GGUF

unsloth · 工具包

Google Gemma 4 E4B 指令模型的 4-bit GGUF 版本，由 Unsloth 打包，可在你自己的机器上运行。它能读取文字和图像，并用文字回答。

Spark-X2.6-1.7B-GGUF

XHToken · 工具包

以 4-bit GGUF 文件运行 XHToken 的 1.7B 小型端侧语言模型，可做中英文的聊天、编码和智能体任务，思考强度可调。适合在本地运行模型的人。

gemma-4-12B-it-qat-GGUF

unsloth · 工具包

Gemma 4 12B 的 GGUF 版本，经过量化感知训练，4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人，附带加快输出的草稿文件。

Qwen3.8-27B-NVFP4

unsloth · 工具包

Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本，用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。

Qwen3.8-27B NVFP4

nvidia · 工具包

NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本，用 Model Optimizer 制作，面向 Blackwell GPU，输入文字、图片和视频，输出文字。

Raon-1 nano (LiteRT-LM)

KRAFTON · 工具包

把 Raon-1 nano 打包成 4-bit 的 LiteRT-LM 包，上下文 4,096 个 token，用于在设备上运行韩英双语聊天模型。回复不带思考步骤。

Thinklite-27B-GGUF

Sparset · 工具包

Thinklite-27B 的 4 位 GGUF 版本，适用于 llama.cpp，每次回答比基础模型用更少的推理，适合在本地运行 27B 文本模型的人。