AI 智能体技能、规则与提示词工具包

Qwen3.6-35B-A3B-NVFP4

nvidia · 工具包

NVIDIA 用 Model Optimizer 制作的、预先量化好的 Alibaba Qwen3.6-35B-A3B 的 NVFP4 版本。它能处理文本、图片和视频，可在 Hopper 或 Blackwell GPU 上用 vLLM 运行。

GLM-5.3-Flash-NVFP4

nvidia · 工具包

提供 NVIDIA 对 ZAI 的 GLM-5.3-Flash 做的 NVFP4 量化版，这是一个用于推理、编码和智能体任务的多模态模型。适合在 Blackwell GPU 上用 vLLM 或 SGLang 部署的开发者。

Qwen3-8B-GGUF

Qwen · 工具包

在 llama.cpp 或 Ollama 中运行量化后的 Qwen3-8B GGUF 文件，有用于数学、代码和逻辑的思考模式，也有用于聊天的普通模式。适合想要本地模型并能选择文件大小的人。

whisper.cpp

ggerganov · 工具包

OpenAI 的 Whisper 语音识别模型，转换成 ggml 文件供 whisper.cpp 使用，从 tiny 到 large-v3-turbo 多种尺寸，另有更小的量化版本。

Qwen3.5-4B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-4B GGUF 量化版本，一个能读图片和文字并用文字回答的小模型，适合在本地运行模型的人。

Qwen3.5-9B-GGUF

unsloth · 工具包

Unsloth 制作的 Qwen3.5-9B GGUF 量化版本，一个能读图片和文字并用文字回答的中等规模模型，适合在本地运行模型的人。

Qwen3.8-27B-FP8

Qwen · 工具包

用 Qwen3.8-27B 的 FP8 量化权重处理文字、图片和视频，它是带可调思考模式的 27B 稠密模型。适合用 transformers、vLLM 或 SGLang 部署它的开发者。

Ripple-65B-Preview-GGUF

AtomicChat · 工具包

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

Qwen3.8-27B GGUF (ShapeLearn Quantized)

byteshape · 工具包

用 ByteShape 的 ShapeLearn 量化出的 Qwen3.8-27B GGUF 文件，提供五种适合不同显卡的版本，在 llama.cpp 里支持图片输入和 MTP 推测解码。适合在自己的显卡上运行它的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

DeepSeek-V4.1-Flash-1017 的 GGUF 版本，有三种很小的尺寸，每个张量用各自的精度量化，适合在有限硬件上运行超大混合专家模型的人。

Qwen3.8-Flash-Next-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

Qwen3.8-Flash-Next 的 GGUF 版本，有四种大小，每个张量用各自的精度量化，并带有支持图片输入的视觉投影文件，适合在本地运行大型混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

Qwen3.8-27B-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 Qwen3.8-27B GGUF 版本，共四种大小，每个张量用各自的精度量化，并带有处理图片的视觉投影文件。适合在 llama.cpp、Ollama 或 LM Studio 里本地运行模型的人。

Local Model Explorer

LocalLLaMA · 工具包

展示哪些 GGUF 量化模型适合你的显卡、Mac 或 CPU，适合在自己电脑上运行语言模型、想选一个能跑起来的文件的人。

GGUF Model VRAM Calculator

DavidAU · 工具包

在浏览器里运行的静态页面，估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。