DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
一个 200 亿参数的搜索模型,为复杂的多步问题找出支撑文档,并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。
Chroma Context-1 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download chromadb/context-1
Chroma Context-1 是一个基于 openai/gpt-oss-20b 构建的搜索模型。它接收一个难题,把它拆成更小的查询,一步步搜索文档集合,并收集能支撑答案的文档。
它被设计成与更大的推理模型搭配的检索子智能体。搜索时它会丢掉不再需要的文档,给后续搜索腾出上下文空间。
适合构建检索或研究智能体、希望在主推理模型前面加一个专门搜索步骤的开发者。研究智能体搜索如何训练的研究人员也会感兴趣。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| AI 工程 | 智能体开发者 | 加一个为主模型供料的搜索子智能体 | 回答前先收集来源的研究智能体 |
| 法律 | 法律科技开发者 | 为多部分问题检索支撑文档 | 找出满足多个既定条件的文档 |
| 金融 | 分析团队 | 在大量文档中搜索相关证据 | 收集与某个问题相关的申报文件 |
| 研究 | 机器学习研究人员 | 研究会自我编辑的搜索智能体 | 阅读技术报告并对比不同设置 |
如果你想要几行代码就能跑起来的模型,可以先等等,因为它需要一个尚未公开的特定运行框架。
| Use case | Who | What they get back |
|---|---|---|
| 多步检索 | 智能体开发者 | 复杂问题的支撑文档 |
| 查询拆解 | 搜索工程师 | 被拆成有针对性子查询的难题 |
| 长时间搜索 | 研究团队 | 靠修剪无关文档保持的检索质量 |
你需要 Python,以及一台放得下 200 亿参数模型的机器。
pip install -U huggingface_hub hf download chromadb/context-1
模型卡没有给出运行命令。模型是为一个特定的运行框架训练的,这个框架负责执行工具、分配标记预算、修剪上下文和去重,技术报告里的结果也依赖它。
日常使用时,运行框架把一个查询交给模型,模型把它拆解,调用搜索工具,常常一次调用多个,然后返回找到的文档。
有人给智能体一个带多个条件、任何单次搜索都答不了的问题。Context-1 把它拆成独立的子查询,为每个子查询搜索语料库,丢掉没有帮助的文档,再把支撑文档交给主模型使用。
如果你刚接触,可以把它想成只负责找资料的研究助理,它不写最终答案。第一步是读技术报告并下载文件,因为要跑好它需要那个运行框架。
对专家来说,这是一个混合专家模型,先做监督微调,再用 CISPO 做强化学习,采用分阶段课程。模型卡报告平均每轮 2.56 次工具调用,修剪准确率为 0.94。它声称检索效果可与前沿模型相当,成本更低,速度最多快 10 倍,这些都是作者自己的说法。
下面几点说明了限制和成本。
一个 200 亿参数的搜索模型,为复杂的多步问题找出支撑文档,并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。
由 chromadb 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Chroma Context-1 是一个基于 openai/gpt-oss-20b 构建的搜索模型。它接收一个难题,把它拆成更小的查询,一步步搜索文档集合,并收集能支撑答案的文档。
它被设计成与更大的推理模型搭配的检索子智能体。搜索时它会丢掉不再需要的文档,给后续搜索腾出上下文空间。
适合谁:适合构建检索或研究智能体、希望在主推理模型前面加一个专门搜索步骤的开发者。研究智能体搜索如何训练的研究人员也会感兴趣。
Industry | Who uses it | How they use it | Example
AI 工程 | 智能体开发者 | 加一个为主模型供料的搜索子智能体 | 回答前先收集来源的研究智能体
法律 | 法律科技开发者 | 为多部分问题检索支撑文档 | 找出满足多个既定条件的文档
金融 | 分析团队 | 在大量文档中搜索相关证据 | 收集与某个问题相关的申报文件
研究 | 机器学习研究人员 | 研究会自我编辑的搜索智能体 | 阅读技术报告并对比不同设置
如果你想要几行代码就能跑起来的模型,可以先等等,因为它需要一个尚未公开的特定运行框架。
用在哪里:
Use case | Who | What they get back
多步检索 | 智能体开发者 | 复杂问题的支撑文档
查询拆解 | 搜索工程师 | 被拆成有针对性子查询的难题
长时间搜索 | 研究团队 | 靠修剪无关文档保持的检索质量
如何设置:你需要 Python,以及一台放得下 200 亿参数模型的机器。
pip install -U huggingface_hub
hf download chromadb/context-1
如何使用:模型卡没有给出运行命令。模型是为一个特定的运行框架训练的,这个框架负责执行工具、分配标记预算、修剪上下文和去重,技术报告里的结果也依赖它。
日常使用时,运行框架把一个查询交给模型,模型把它拆解,调用搜索工具,常常一次调用多个,然后返回找到的文档。
示例:有人给智能体一个带多个条件、任何单次搜索都答不了的问题。Context-1 把它拆成独立的子查询,为每个子查询搜索语料库,丢掉没有帮助的文档,再把支撑文档交给主模型使用。
新手与专家:如果你刚接触,可以把它想成只负责找资料的研究助理,它不写最终答案。第一步是读技术报告并下载文件,因为要跑好它需要那个运行框架。
对专家来说,这是一个混合专家模型,先做监督微调,再用 CISPO 做强化学习,采用分阶段课程。模型卡报告平均每轮 2.56 次工具调用,修剪准确率为 0.94。它声称检索效果可与前沿模型相当,成本更低,速度最多快 10 倍,这些都是作者自己的说法。
收到一个复杂查询
模型把它拆成子查询
用并行工具调用搜索语料库
修剪没有帮助的文档
把支撑文档交给主模型
注意事项:下面几点说明了限制和成本。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download chromadb/context-1
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Chroma Context-1 本页 | 613 | 425 | 20.9B | apache-2.0 | |
| gpt-oss-20b共有 gpt_oss · text-generation · conversational | 5,685,450 | 5,299 | 20.9B | apache-2.0 | |
| gpt-oss-120b共有 gpt_oss · text-generation · conversational | 2,435,242 | 5,509 | 117B | apache-2.0 | |
| gpt-oss-safeguard-20b共有 gpt_oss · text-generation · conversational | 24,325 | 293 | 21.5B | apache-2.0 | |
| gpt-oss-safeguard-120b共有 gpt_oss · text-generation · conversational | 16,400 | 128 | 117B | apache-2.0 | |
| gpt-oss-20b-GGUF共有 gpt_oss · text-generation · conversational | 614,134 | 909 | 20.9B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。