DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
提供 Ornith-1.5-122B 的 NVFP4 量化副本,这是一个面向单 GPU 使用、在编程测试里表现突出的 122B 混合专家文本模型。适合自己托管大模型的开发者。
Ornith-1.5-122B-NVFP4 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download ornith-ai/Ornith-1.5-122B-NVFP4
这个仓库放的是 Ornith-1.5-122B 的 NVFP4 量化副本,Ornith-1.5-122B 是 ornith-ai 的文本生成模型。模型卡把原版描述为设计成能在单块 GPU 上运行的 122B 混合专家模型,另有面向手机的移动版本。
Ornith-1.5 建立在 Ornith-1.0 之上,后者以 Qwen3.5 和 Gemma4 为起点。它的训练循环会生成新任务、搭建解决任务的脚手架,并通过强化学习从尝试中学习。
它适合自己托管大模型做编程和智能体工作的开发者和团队,他们想要一个能装进更少 GPU 的量化副本。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 开发者 | 在自己的服务器上托管编程模型 | 在终端里修复失败的构建 |
| AI 平台 | 机器学习工程师 | 向内部用户提供量化大模型服务 | 运行私有的编程助手 |
| 研究 | 模型研究者 | 研究会自我改进的训练循环 | 与其他大模型对比 |
| 安全 | 安全工程师 | 在网络安全基准上试用模型 | 运行模型卡里类似 CyberGym 的测试 |
如果你没有大型 GPU 机器,或者需要图像或音频模型,可以跳过它。
你在装有 Python 的 Windows、macOS 或 Linux 上下载文件。64 GB 的模型要在 GPU 内存充足的机器上运行。
| 用途 | 谁 | 得到什么 |
|---|---|---|
| 编程帮助 | 开发者 | 以文字写出的代码和修复 |
| 智能体任务 | 构建者 | 面向工具和终端的逐步文字输出 |
| 模型测试 | 研究者 | 可与其他模型对比的分数 |
你需要带 pip 的 Python 来下载文件,还需要约 64 GB 的磁盘空间放权重。这里展示的模型卡部分没有给出运行命令,所以请按它自己的说明来运行。
pip install -U huggingface_hub hf download ornith-ai/Ornith-1.5-122B-NVFP4
模型加载后,你发送文本提示词,读它写出的文本。模型卡的结果主要指向编程和终端任务。
你把一条失败的命令和错误文本交给模型,请它给出修复办法。它会用文字解释,并给出修改后的代码或命令。
如果你是新手,要知道这是一个巨大的下载,需要性能强的硬件。先读模型卡,再确认你的机器放得下 64 GB 的权重。
如果你懂这个领域,训练循环把任务生成、脚手架搭建和解题展开一起调优。它用强化学习改进策略,不依赖一组固定的人工编写任务。
模型卡把这个 122B 模型与其他几个模型做了对比,有些模型在部分测试里得分更高。
| 基准 | Ornith-1.5-122B | Qwen3.8-Flash-Next | Qwen3.8 27B |
|---|---|---|---|
| TerminalBench 2.1 | 81.2 | 83.4 | 71.9 |
| CyberGym | 80 | 78 | 55 |
提供 Ornith-1.5-122B 的 NVFP4 量化副本,这是一个面向单 GPU 使用、在编程测试里表现突出的 122B 混合专家文本模型。适合自己托管大模型的开发者。
由 ornith-ai 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:这个仓库放的是 Ornith-1.5-122B 的 NVFP4 量化副本,Ornith-1.5-122B 是 ornith-ai 的文本生成模型。模型卡把原版描述为设计成能在单块 GPU 上运行的 122B 混合专家模型,另有面向手机的移动版本。
Ornith-1.5 建立在 Ornith-1.0 之上,后者以 Qwen3.5 和 Gemma4 为起点。它的训练循环会生成新任务、搭建解决任务的脚手架,并通过强化学习从尝试中学习。
适合谁:它适合自己托管大模型做编程和智能体工作的开发者和团队,他们想要一个能装进更少 GPU 的量化副本。
行业 | 谁在用 | 怎么用 | 例子
软件 | 开发者 | 在自己的服务器上托管编程模型 | 在终端里修复失败的构建
AI 平台 | 机器学习工程师 | 向内部用户提供量化大模型服务 | 运行私有的编程助手
研究 | 模型研究者 | 研究会自我改进的训练循环 | 与其他大模型对比
安全 | 安全工程师 | 在网络安全基准上试用模型 | 运行模型卡里类似 CyberGym 的测试
如果你没有大型 GPU 机器,或者需要图像或音频模型,可以跳过它。
用在哪里:你在装有 Python 的 Windows、macOS 或 Linux 上下载文件。64 GB 的模型要在 GPU 内存充足的机器上运行。
用途 | 谁 | 得到什么
编程帮助 | 开发者 | 以文字写出的代码和修复
智能体任务 | 构建者 | 面向工具和终端的逐步文字输出
模型测试 | 研究者 | 可与其他模型对比的分数
如何设置:你需要带 pip 的 Python 来下载文件,还需要约 64 GB 的磁盘空间放权重。这里展示的模型卡部分没有给出运行命令,所以请按它自己的说明来运行。
pip install -U huggingface_hub
hf download ornith-ai/Ornith-1.5-122B-NVFP4
如何使用:模型加载后,你发送文本提示词,读它写出的文本。模型卡的结果主要指向编程和终端任务。
示例:你把一条失败的命令和错误文本交给模型,请它给出修复办法。它会用文字解释,并给出修改后的代码或命令。
新手与专家:如果你是新手,要知道这是一个巨大的下载,需要性能强的硬件。先读模型卡,再确认你的机器放得下 64 GB 的权重。
如果你懂这个领域,训练循环把任务生成、脚手架搭建和解题展开一起调优。它用强化学习改进策略,不依赖一组固定的人工编写任务。
生成新的训练任务
搭建解决它们的脚手架
运行解题展开
用强化学习改进策略
注意事项:模型卡把这个 122B 模型与其他几个模型做了对比,有些模型在部分测试里得分更高。
基准 | Ornith-1.5-122B | Qwen3.8-Flash-Next | Qwen3.8 27B
TerminalBench 2.1 | 81.2 | 83.4 | 71.9
CyberGym | 80 | 78 | 55
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download ornith-ai/Ornith-1.5-122B-NVFP4
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Ornith-1.5-122B-NVFP4 本页 | 279,663 | 36 | 64B | mit | |
| Ornith-1.5-35B-A3B-NVFP4共有 modelopt · qwen3_5_moe · 8-bit | 1,124,337 | 73 | 19.5B | mit | |
| Qwen3.6-35B-A3B-NVFP4共有 modelopt · qwen3_5_moe · 8-bit | 4,104,345 | 678 | 18.7B | apache-2.0 | |
| Qwen3.6-35B-A3B-NVFP4-Fast共有 qwen3_5_moe · 8-bit · image-text-to-text | 695,020 | 134 | 19.8B | apache-2.0 | |
| Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark共有 modelopt · qwen3_5_moe · image-text-to-text | 342 | 2 | 64B | mit | |
| Qwen3.8-27B-NVFP4共有 modelopt · 8-bit · image-text-to-text | 979,445 | 126 | 18.2B | apache-2.0 |
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。