浏览 AI 技能、智能体和自动化

gemma-4-26B-A4B-it Cactus CQ

Cactus-Compute · 工具包

Google gemma-4-26B-A4B-it 聊天模型的 2 位、3 位和 4 位压缩副本，使用 Cactus 权重格式。专为通过 Cactus 运行时在 ARM 设备上运行而做。

Qwen3.8-27B-GSQ-RCO-IQ3_S-recovered-GGUF

Joakimpalm-Zen · 工具包

把 Qwen3.8-27B 压成重新训练过缩放值的 3 位 IQ3_S GGUF。这是给研究量化的人用的研究文件，不是原模型的忠实替身。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

Ornith-1.5-35B-A3B-GSQ-RCO-GGUF

pfeifferj · 工具包

把 Ornith-1.5-35B-A3B 文本模型压缩成 3 位和 3.5 位的 GGUF 文件，约 13 GB 和 15 GB，而不是 69 GB，适合用 llama.cpp 运行本地模型的人。

Qwen3.8-27B-GGUF

bartowski · 工具包

bartowski 制作的 Qwen3.8-27B 的一组 GGUF 量化版本，从 Q8_0 到 3-bit，用重要性矩阵生成。适合在本地用 llama.cpp 运行 27B 视觉语言模型的人。

DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

diffbot · 工具包

在两张 96 GB 的 RTX PRO 6000 Blackwell 显卡上用 vLLM 运行 DeepSeek-V4.1-Flash-1017 的 3 位压缩版，适合在自己硬件上部署大型编程和智能体模型的开发者。