DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
作为多模态智能体模型处理计算机操作、编程和长时间的工具任务,基于 GLM-5.3-Flash,FP8 权重约 321B 参数。适合能自行托管大模型的团队。
Nex-N2.6 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download nex-agi/Nex-N2.6
Nex-AGI 在 GLM-5.3-Flash 之上构建了 Nex-N2.6,这是一个多模态智能体模型。它能读取图像和文字,并用文字回答。它的目标是操作计算机、编写代码,以及处理需要调用工具的长任务。这个仓库提供约 321B 参数的 FP8 权重。
它适合构建会操作电脑或调用工具的智能体的团队,以及能自己托管庞大模型的团体。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件开发 | 开发者 | 作为编程或使用工具的智能体背后的模型 | 一个会发送模型可调用工具的智能体框架 |
| AI 研究 | 研究者 | 在 OSWorld 等测试上比较智能体表现 | 用自己的测试设置核对报告的分数 |
| 基础设施 | ML 平台团队 | 用兼容 FP8 的运行时自行托管权重 | 通过 SGLang 部署来提供模型服务 |
没有能容纳约 321 GB 权重的硬件的人可以跳过下载。模型卡还提到了 OpenRouter 上的 API。
| 用途 | 适合谁 | 得到什么 |
|---|---|---|
| 计算机操作 | 智能体开发者 | 针对电脑任务设计的模型,用 OSWorld 打分 |
| 编程 | 开发者 | 按要求写出的代码,例如一个简短的 Python 函数 |
| 使用工具的任务 | 智能体团队 | 只使用请求中声明的工具的工具调用 |
你需要先准备:
pip install -U huggingface_hub hf download nex-agi/Nex-N2.6
服务的模型名称用下面这个参数设置。
--served-model-name Nex-N2.6
兼容 OpenAI 的服务器在 8000 端口监听后,用模型名 Nex-N2.6 向它发送聊天请求。有几个请求设置值得注意:
你发送一个聊天请求,内容是“Write me a Python function that tests whether some text reads the same backward”,并把 reasoning_effort 设为 max。回复会以流的形式返回这个函数。
如果你刚接触,请知道它是一个面向服务器的庞大模型,不适合笔记本电脑。第一步可以先读模型卡,再决定用 OpenRouter 上的托管 API,还是自己托管权重。
如果你熟悉这个领域,这个版本接在 Nex-N2.5-Pro 之后,目标是减少重复推理,并更严格地遵守当前环境中的工具。团队报告,在内部回放评估中,推理重复率从 16.0% 降到 1.6%,在发起工具调用的回复中,工具列表遵守率为 100%。团队说明分数取决于评估设置,针对的是整个模型,而不是单独针对这个 FP8 副本。在 Terminal-Bench 2.1 和 AutomationBench 上,表格显示它低于 GLM-5.3-Flash。
团队报告了这个版本和对比模型的 OSWorld 分数。
作为多模态智能体模型处理计算机操作、编程和长时间的工具任务,基于 GLM-5.3-Flash,FP8 权重约 321B 参数。适合能自行托管大模型的团队。
由 nex-agi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Nex-AGI 在 GLM-5.3-Flash 之上构建了 Nex-N2.6,这是一个多模态智能体模型。它能读取图像和文字,并用文字回答。它的目标是操作计算机、编写代码,以及处理需要调用工具的长任务。这个仓库提供约 321B 参数的 FP8 权重。
适合谁:它适合构建会操作电脑或调用工具的智能体的团队,以及能自己托管庞大模型的团体。
Title: 谁可能用到它
行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 作为编程或使用工具的智能体背后的模型 | 一个会发送模型可调用工具的智能体框架
AI 研究 | 研究者 | 在 OSWorld 等测试上比较智能体表现 | 用自己的测试设置核对报告的分数
基础设施 | ML 平台团队 | 用兼容 FP8 的运行时自行托管权重 | 通过 SGLang 部署来提供模型服务
没有能容纳约 321 GB 权重的硬件的人可以跳过下载。模型卡还提到了 OpenRouter 上的 API。
用在哪里:
Title: 它能做的事
用途 | 适合谁 | 得到什么
计算机操作 | 智能体开发者 | 针对电脑任务设计的模型,用 OSWorld 打分
编程 | 开发者 | 按要求写出的代码,例如一个简短的 Python 函数
使用工具的任务 | 智能体团队 | 只使用请求中声明的工具的工具调用
如何设置:你需要先准备:
pip install -U huggingface_hub
hf download nex-agi/Nex-N2.6
服务的模型名称用下面这个参数设置。
--served-model-name Nex-N2.6
如何使用:兼容 OpenAI 的服务器在 8000 端口监听后,用模型名 Nex-N2.6 向它发送聊天请求。有几个请求设置值得注意:
示例:你发送一个聊天请求,内容是“Write me a Python function that tests whether some text reads the same backward”,并把 reasoning_effort 设为 max。回复会以流的形式返回这个函数。
新手与专家:如果你刚接触,请知道它是一个面向服务器的庞大模型,不适合笔记本电脑。第一步可以先读模型卡,再决定用 OpenRouter 上的托管 API,还是自己托管权重。
如果你熟悉这个领域,这个版本接在 Nex-N2.5-Pro 之后,目标是减少重复推理,并更严格地遵守当前环境中的工具。团队报告,在内部回放评估中,推理重复率从 16.0% 降到 1.6%,在发起工具调用的回复中,工具列表遵守率为 100%。团队说明分数取决于评估设置,针对的是整个模型,而不是单独针对这个 FP8 副本。在 Terminal-Bench 2.1 和 AutomationBench 上,表格显示它低于 GLM-5.3-Flash。
下载 FP8 权重
用兼容 FP8 的运行时提供服务
在 8000 端口发送 OpenAI 风格的聊天请求
提供工具,由你的客户端执行调用
注意事项:团队报告了这个版本和对比模型的 OSWorld 分数。
Title: 团队报告的 OSWorld 分数
Nex-N2.6: 83.0 分
Nex-N2.5-Pro: 82.2 分
GLM-5.3-Flash: 78.0 分
DeepSeek-V4.1-Flash: 71.7 分
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download nex-agi/Nex-N2.6
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Nex-N2.6 本页 | 191 | 60 | 321B | apache-2.0 | |
| GLM-5.3-Flash共有 glm5_next · fp8 · image-text-to-text | 6,397,774 | 3,138 | 321B | mit | |
| GLM-5.3-Flash-BF16共有 glm5_next · image-text-to-text · conversational | 68,087 | 85 | 321B | mit | |
| GLM-5.3-Flash EXL3 Spark共有 glm5_next · image-text-to-text · conversational | 399 | 11 | 48B | mit | |
| Qwen3.8-27B-FP8共有 fp8 · image-text-to-text · conversational | 5,442,810 | 984 | 27.8B | apache-2.0 | |
| Qwen3.6-35B-A3B-FP8共有 fp8 · image-text-to-text · conversational | 3,818,590 | 448 | 36B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。