DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
新上架
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
agentionai · 工具包
把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件,有八种大小,从 8.95 到 16.35 GiB,另附视觉投影器。作者称在每个大小上,它与 BF16 模型的偏离都比其他量化版本小。
mradermacher · 工具包
Qwen3.8-27B-CodeForge-3xMerge 模型的重要性矩阵 GGUF 量化版,大小约 11 GB 到 22.5 GB,用于本地运行。适合在自己电脑上运行 27B 模型的人。
MATLOWAI · 工具包
RelayVSR 4 倍视频放大器的预量化 Wan 检查点,让它能在 ComfyUI 里用 16 GB 和 24 GB 显卡输出 2560x1408,适合视频剪辑和修复的人。
mradermacher · 工具包
BAAI/AREX-2(一个 26.9B 的视觉模型)的加权 GGUF 量化版本,约有两打尺寸,从 7.2 GB 到 22.2 GB,另有一个用来制作你自己量化版本的 imatrix 文件。由 mradermacher 制作。
peculiar-ragdoll · 工具包
在 6 GB 显存的显卡上运行支持长上下文的 4B 编程模型。这些 Spark-X2.6-4B 的 GGUF 量化版有三种大小,使用偏向编程的重要性矩阵。