开发者 AI 技能与智能体

DeepSeek-V4.1-Flash-1017-TrellisMX-FLARE

JMNI-Labs · 工具包

用压缩的 TrellisMX 包，在两台 NVIDIA DGX Spark 上提供带兼容 OpenAI API 的 DeepSeek V4.1 Flash 服务。适合在自己的 Spark 硬件上运行大模型的团队。

DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

philbert440 · 工具包

在八块 Tesla V100 32 GB 显卡上，以完整的 100 万词元上下文运行 DeepSeek V4.1 Flash，用的是 EXL3 专家包和 SM70 版 vLLM。适合拥有这类服务器的人。

DeepSeek-V4.1-Flash-NVFP4

nvidia · 工具包

读取文本和图像并输出文本，是 NVIDIA 制作的 DeepSeek-V4.1-Flash 的 NVFP4 精简版本。适合在 NVIDIA Blackwell GPU 上部署智能体、聊天机器人和检索系统的开发者。

DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。

DeepSeek-V4.1-Flash-1017-FLARE

local-inference-lab · 工具包

为四卡 GPU 服务准备的 DeepSeek V4.1 Flash 1017 签名 Flare 运行时包，支持文本和图片，提供兼容 OpenAI 的 API。适合在自有 NVIDIA 硬件上运行大模型的人。

DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

kaushikvira · 工具包

把 763.2B 参数的 DeepSeek V4.1 Flash 做成 153 GiB 的混合精度版本，针对智能体和编程工作调校，在 strata 引擎上运行。适合有大显存 GPU 和大量内存的人。

DeepSeek-V4.1-Flash-1017 GGUF

ggml-org · 工具包

DeepSeek 的 748B 模型 V4.1 Flash 1017 的 GGUF 文件，由 ggml-org 转换并附带处理图片的视觉文件，适合有大内存机器、通过 llama.cpp 工具运行模型的人。

DeepSeek-V3.2

deepseek-ai · 工具包

DeepSeek 的 685B 开源推理模型，用稀疏注意力处理长上下文，聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。

DeepSeek V4.1 Flash GGUF for DwarfStar

antirez · 工具包

为 Mac 用户提供 DeepSeek V4.1 Flash 经过校准的 2 位和 4 位 GGUF 文件，另有单独的视觉编码器，供 DwarfStar 的 Metal 引擎配合 SSD 流式加载使用。与其他 DeepSeek 权重不通用。

DeepSeek-V4.1-Flash-1017-oQ4e-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，这是一个超大的多模态混合专家模型。适合拥有数百 GB 内存、想用 MLX 工具运行它的人。

DeepSeek-V4.1-Flash-1017 iQ-MLX Pruned192 2.25bpw

ddalcu · 工具包

通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash，保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。

DeepSeek-V4.1-Flash-1017-exl3

turboderp · 工具包

在 ExLlamaV3 里以每权重 1.68、2.25 或 2.68 比特运行压缩后的 DeepSeek-V4.1-Flash-1017。适合在自己的硬件上运行大模型、想少占内存的人。

DeepSeek-V4.1-Flash-1017 TrellisMX K2 Mix

brandonmusic · 工具包

DeepSeek-V4.1-Flash-1017 的压缩版本，按两张 96 GB 显卡的规格设计，少数专家用更高精度存储。这是面向大模型部署者的研究版本。

DeepSeek-V4.1-Flash-1017 Maya GGUF

peasantsmith · 工具包

通过为 Project Maya 制作的两种 GGUF 量化版本，在家用电脑上运行 748B 的 DeepSeek 混合专家模型。适合有大内存机器和高速 SSD 的人。

DeepSeek-V4.1-Flash-1017-NVFP4

nvidia · 工具包

NVIDIA 制作的 DeepSeek AI 的 DeepSeek-V4.1-Flash-1017 的 NVFP4 量化版本，一个面向 NVIDIA Blackwell GPU 的超大多模态混合专家模型。

DeepSeek-V4.1-Flash-1017 EXL3 EAQ v1 2.9 bpw

Mia-AiLab · 工具包

DeepSeek-V4.1-Flash-1017 的 2.9 bits-per-weight EXL3 量化版本，能读取文本和图片。它把模型压缩到约 210 GB，供 exllamav3 运行时使用，模型卡还测量了它与原模型的贴近程度。

DeepSeek-V4.1-Flash-EXL3-3bpw-2x-RTX-PRO-6000

diffbot · 工具包

在两张 96 GB 的 RTX PRO 6000 Blackwell 显卡上用 vLLM 运行 DeepSeek-V4.1-Flash-1017 的 3 位压缩版，适合在自己硬件上部署大型编程和智能体模型的开发者。

DeepSeek-V4.1-Flash-1017-Sushi-STQ-1.75bpw

beamster · 工具包

让 261B 的 DeepSeek V4.1 Flash 模型在 Apple Silicon Mac 上通过 sushi 引擎运行，权重压到约每个 1.75 比特，支持图片输入，上下文最长 1,048,576 个词元。

DeepSeek-V4.1-Flash-1017-Basalt

jesdga · 工具包

把 DeepSeek V4.1 Flash 打包成单个模型文件供 Basalt 引擎使用，它在一张 NVIDIA Blackwell GPU 上运行，放不下的专家由系统内存承担。支持图片，上下文最长 1,048,576 个词元。

DeepSeek-R1

deepseek-ai · 工具包

用 684B 的推理模型生成文本，该模型主要通过强化学习训练，面向数学、代码和逻辑。适合自己托管大型开源模型的研究人员和团队。