DeepSeek-R1-GGUF
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
Qwen 的 9B 开放模型,能读取文字和图片并输出文字,上下文很长,支持 201 种语言和方言,适合想在自己硬件上用中等规模模型的开发者。
Qwen3.5-9B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download Qwen/Qwen3.5-9B
Qwen3.5-9B 是 Qwen 的 9B 模型,能读取文字和图片,并用文字回答。这个仓库放的是后训练版本,由 Qwen3.5-9B-Base 构建,在语言模型上接了一个视觉编码器。权重采用 Hugging Face Transformers 格式,模型卡说其他工具也能加载它们。
它适合想在自己硬件上用中等规模开放模型来做聊天、编程、智能体和图片问答的开发者和团队。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 开发者 | 在本地模型上构建聊天、编程和智能体功能 | 回答代码和截图相关问题的助手 |
| 客户支持 | 客服团队 | 用多种语言回答问题 | 用客户自己的语言写的回复 |
| 研究 | 研究人员 | 为自己的任务微调或量化模型 | 把量化版本和原版对比 |
| 商务 | 分析人员 | 对以图片形式给出的图表和文档提问 | 发一张图表图片,问它显示了什么 |
如果你需要能画图的模型,可以跳过它,因为它读图片但输出文字。
| Use case | Who | What they get back |
|---|---|---|
| 聊天和编程 | 开发者 | 来自 9B 模型的文字回答 |
| 图片提问 | 分析人员 | 关于图片的文字回答 |
| 多语言工作 | 客服团队 | 多种语言的回复 |
你需要先准备:
pip install -U huggingface_hub hf download Qwen/Qwen3.5-9B
发送文字,或带文字的图片,然后读取返回的文字。这里给出的模型卡部分没有运行代码,所以具体调用请读完整的模型卡。
| Tool | What it does |
|---|---|
| Transformers | 以 Hugging Face 格式加载权重 |
| vLLM | 模型卡列为兼容的一个服务工具 |
| SGLang | 模型卡列出的另一个服务工具 |
| KTransformers | 模型卡列出的第三个工具 |
你发一张销售图表的截图,问它显示了什么趋势。模型读取图片并用文字回复。模型卡没有展示这次具体的运行,所以请把它当作预期。
图文转文字的意思是你给模型图片和文字,它用文字回答。第一步可以先读完整的模型卡,再试一个简短的提示词,然后再做更大的事。
语言模型有 32 层,排列为八组重复,每组是三个 Gated DeltaNet 块加一个 Gated Attention 块。隐藏维度是 4096,模型卡说它的多 token 预测头是用多步训练的。
对带视觉的模型来说权重不大,4-bit 的数字只是 Hugging Face 自己的估算。
Qwen 的 9B 开放模型,能读取文字和图片并输出文字,上下文很长,支持 201 种语言和方言,适合想在自己硬件上用中等规模模型的开发者。
由 Qwen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Qwen3.5-9B 是 Qwen 的 9B 模型,能读取文字和图片,并用文字回答。这个仓库放的是后训练版本,由 Qwen3.5-9B-Base 构建,在语言模型上接了一个视觉编码器。权重采用 Hugging Face Transformers 格式,模型卡说其他工具也能加载它们。
适合谁:它适合想在自己硬件上用中等规模开放模型来做聊天、编程、智能体和图片问答的开发者和团队。
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地模型上构建聊天、编程和智能体功能 | 回答代码和截图相关问题的助手
客户支持 | 客服团队 | 用多种语言回答问题 | 用客户自己的语言写的回复
研究 | 研究人员 | 为自己的任务微调或量化模型 | 把量化版本和原版对比
商务 | 分析人员 | 对以图片形式给出的图表和文档提问 | 发一张图表图片,问它显示了什么
如果你需要能画图的模型,可以跳过它,因为它读图片但输出文字。
用在哪里:
Use case | Who | What they get back
聊天和编程 | 开发者 | 来自 9B 模型的文字回答
图片提问 | 分析人员 | 关于图片的文字回答
多语言工作 | 客服团队 | 多种语言的回复
如何设置:
你需要先准备:
pip install -U huggingface_hub
hf download Qwen/Qwen3.5-9B
如何使用:发送文字,或带文字的图片,然后读取返回的文字。这里给出的模型卡部分没有运行代码,所以具体调用请读完整的模型卡。
Tool | What it does
Transformers | 以 Hugging Face 格式加载权重
vLLM | 模型卡列为兼容的一个服务工具
SGLang | 模型卡列出的另一个服务工具
KTransformers | 模型卡列出的第三个工具
示例:你发一张销售图表的截图,问它显示了什么趋势。模型读取图片并用文字回复。模型卡没有展示这次具体的运行,所以请把它当作预期。
新手与专家:图文转文字的意思是你给模型图片和文字,它用文字回答。第一步可以先读完整的模型卡,再试一个简短的提示词,然后再做更大的事。
语言模型有 32 层,排列为八组重复,每组是三个 Gated DeltaNet 块加一个 Gated Attention 块。隐藏维度是 4096,模型卡说它的多 token 预测头是用多步训练的。
选 BF16 权重或一个量化版本
用 Transformers 或服务工具加载
发送文字,或带文字的图片
读取文字回复
注意事项:对带视觉的模型来说权重不大,4-bit 的数字只是 Hugging Face 自己的估算。
Title: 权重大小,单位 GB
BF16 weights: 19.3 GB
4-bit estimate: 4.8 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download Qwen/Qwen3.5-9B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Qwen3.5-9B 本页 | 6,259,809 | 2,353 | 9.7B | apache-2.0 | |
| Qwen3.8-27B共有 qwen3_5 · image-text-to-text · conversational | 6,960,395 | 19,795 | 27.8B | apache-2.0 | |
| Qwen3.8-27B-FP8共有 qwen3_5 · image-text-to-text · conversational | 5,442,810 | 984 | 27.8B | apache-2.0 | |
| Qwen3.5-4B共有 qwen3_5 · image-text-to-text · conversational | 5,083,722 | 1,226 | 4.7B | apache-2.0 | |
| Qwen3.5-2B共有 qwen3_5 · image-text-to-text · conversational | 4,044,746 | 479 | 2.3B | apache-2.0 | |
| Qwen3.5-0.8B共有 qwen3_5 · image-text-to-text · conversational | 3,286,957 | 837 | 873M | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
unsloth · 工具包
671B 参数 DeepSeek-R1 推理模型的 GGUF 版本,带 1.58-bit 和 2-bit 动态量化,可在内存足够的本机上用 llama.cpp 运行。
prithivMLmods · 工具包
提供 Axion-1.0-35B 的 GGUF 文件,这是一个有约 30 亿激活参数的 35B 混合专家模型,面向科学推理、信息查找和工具使用。适合配合 llama.cpp 在本地使用。
Phips · 工具包
用一个超分辨率网络放大低分辨率图像,可以在一块消费级 GPU 上训练,并导出为 ONNX。适合训练或运行图像放大模型的人。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。