浏览 AI 技能、智能体和自动化

DeepSeek-V4.1-Flash-1017 EXL3 2.9 bpw

LibertAIDAI · 工具包

以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017，这是一份 196 GiB 的副本，适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。

DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

JMNI-Labs · 工具包

用压缩的 TrellisMX 包，在两台 NVIDIA DGX Spark 上提供带兼容 OpenAI API 的 DeepSeek V4.1 Flash 服务。适合在自己的 Spark 硬件上运行大模型的团队。

DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

philbert440 · 工具包

在八块 Tesla V100 32 GB 显卡上，以完整的 100 万词元上下文运行 DeepSeek V4.1 Flash，用的是 EXL3 专家包和 SM70 版 vLLM。适合拥有这类服务器的人。

DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。

DeepSeek-V4.1-Flash-1017-FLARE

local-inference-lab · 工具包

为四卡 GPU 服务准备的 DeepSeek V4.1 Flash 1017 签名 Flare 运行时包，支持文本和图片，提供兼容 OpenAI 的 API。适合在自有 NVIDIA 硬件上运行大模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

kaushikvira · 工具包

把 763.2B 参数的 DeepSeek V4.1 Flash 做成 153 GiB 的混合精度版本，针对智能体和编程工作调校，在 strata 引擎上运行。适合有大显存 GPU 和大量内存的人。

DeepSeek-V4.1-Flash-1017 GGUF

ggml-org · 工具包

DeepSeek 的 748B 模型 V4.1 Flash 1017 的 GGUF 文件，由 ggml-org 转换并附带处理图片的视觉文件，适合有大内存机器、通过 llama.cpp 工具运行模型的人。

DeepSeek-V4.1-Flash-1017-oQ4e-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，这是一个超大的多模态混合专家模型。适合拥有数百 GB 内存、想用 MLX 工具运行它的人。

DeepSeek-V4.1-Flash-1017 iQ-MLX Pruned192 2.25bpw

ddalcu · 工具包

通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash，保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。

DeepSeek-V4.1-Flash-1017-exl3

turboderp · 工具包

在 ExLlamaV3 里以每权重 1.68、2.25 或 2.68 比特运行压缩后的 DeepSeek-V4.1-Flash-1017。适合在自己的硬件上运行大模型、想少占内存的人。

DeepSeek-V4.1-Flash-1017 TrellisMX K2 Mix

brandonmusic · 工具包

DeepSeek-V4.1-Flash-1017 的压缩版本，按两张 96 GB 显卡的规格设计，少数专家用更高精度存储。这是面向大模型部署者的研究版本。

DeepSeek-V4.1-Flash-1017 Maya GGUF

peasantsmith · 工具包

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

DeepSeek-V4.1-Flash-1017-NVFP4

nvidia · 工具包

NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本，一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

diffbot · 工具包

在两张 96 GB 的 RTX PRO 6000 Blackwell 显卡上用 vLLM 运行 DeepSeek-V4.1-Flash-1017 的 3 位压缩版，适合在自己硬件上部署大型编程和智能体模型的开发者。

DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw

beamster · 工具包

让 261B 的 DeepSeek V4.1 Flash 模型在 Apple Silicon Mac 上通过 sushi 引擎运行，权重压到约每个 1.75 比特，支持图片输入，上下文最长 1,048,576 个词元。

DeepSeek-V4.1-Flash-1017-Basalt

jesdga · 工具包

把 DeepSeek V4.1 Flash 打包成单个模型文件供 Basalt 引擎使用，它在一张 NVIDIA Blackwell GPU 上运行，放不下的专家由系统内存承担。支持图片，上下文最长 1,048,576 个词元。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF

ISTA-DASLab · 工具包

DeepSeek-V4.1-Flash-1017 的 GGUF 版本，有三种很小的尺寸，每个张量用各自的精度量化，适合在有限硬件上运行超大混合专家模型的人。

DeepSeek-V4.1-Flash-1017-GGUF

unsloth · 工具包

Unsloth 制作的 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，这是一个巨大的图文模型，可在 128 GB 或更多内存的机器上本地运行，适合自己运行大型开放模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。