DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp
mlx-community · 工具包
DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本,把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。
新上架
mlx-community · 工具包
DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本,把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。
通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash,保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。
brandonmusic · 工具包
DeepSeek-V4.1-Flash-1017 的压缩版本,按两张 96 GB 显卡的规格设计,少数专家用更高精度存储。这是面向大模型部署者的研究版本。