Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
Multiverse Computing 的 61.1B 多模态模型,是 NVIDIA Nemotron 3.5 Super 的压缩版本,接收文本、图像和视频,并保持约 12B 参数被激活。适合想用更少 GPU 通过 vLLM 部署大型开放模型的团队。
Comet 60B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download MultiverseComputingCAI/Comet_60B_A12B_BF16
Comet 60B 是 Multiverse Computing 推出的多模态模型,基于 NVIDIA 的 Nemotron 3.5 Super VL 120B 构建。原模型是 Mamba2 加 Transformer 的混合专家模型。Multiverse 用它的 CompactifAI 压缩技术把参数量大约减半,到 61.1 billion,而每个 token 仍然激活约 12 billion。层结构、分词器和对话模板都没有变。压缩之后,团队用文本、图像和视频数据对原模型做蒸馏,让它恢复能力。它接收文本、图像和视频输入,输出文本,并支持可配置的推理和工具调用。
适合在自己的 GPU 上运行大型开放模型、希望获得同一系列能力但内存需求更小的团队。也适合构建智能体、文档阅读器或视频和图像助手的开发者。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 平台工程师 | 用更少的 GPU 部署一个多模态模型 | 把四块 GPU 的配置换成两块 |
| 智能体 | 智能体构建者 | 在助手里使用推理和工具调用 | 让模型在任务中调用一个工具 |
| 媒体与文档 | 分析师 | 针对图像、文档和视频提问 | 总结一段视频,或读一页扫描件 |
如果你没有 GPU 服务器,可以跳过它。仅 BF16 文件就有 122.3 GB。
Hugging Face 的记录列出了 transformers 库。模型卡说,这个模型使用与基础模型相同的 vLLM 推理和工具解析器,并用多 token 预测做推测解码。
| Use case | Who | What they get back |
|---|---|---|
| 图像和视频问答 | 分析师 | 关于图片和视频片段的文字回答 |
| 智能体任务 | 开发者 | 会推理并调用工具的回复 |
| 长推理 | 研究者 | 带可配置推理模式的回答 |
你需要带 pip 的 Python 和一台 GPU 内存很大的服务器。模型卡说,BF16 版本在两块 H200 GPU 上就能运行,而基础模型需要四块,FP8 版本在单块 H200 上就能放下。模型卡能看到的部分只给了下载步骤,没有运行命令,所以服务部署请按模型卡的快速上手操作。
pip install -U huggingface_hub hf download MultiverseComputingCAI/Comet_60B_A12B_BF16
向已部署的模型发送文本、图像或视频请求,并按模型卡的说明开启或关闭推理。做工具调用时,使用与基础模型相同的工具解析器。模型卡涵盖三种格式,除非某一节另有说明,否则描述的是 BF16 版本。
| Property | Nemotron 3.5 Super VL | Comet 60B |
|---|---|---|
| 总参数量 | 124.5B | 61.1B |
| 每个 token 激活的参数 | 12.8B | 12.3B |
| 每层路由专家数 | 512 | 256 |
你在两块 H200 GPU 上部署 BF16 版本,发给它一张收据的照片,请它列出商品。模型读取图像,并把清单作为文本返回。模型卡说,在同样四块 GPU 上,它在 NVIDIA 的聊天和智能体测试轨迹上,每秒输出的 token 比原模型多 20 到 23 个百分点。
如果你是新手,这是一个被缩小、因此需要更少 GPU 的大模型。它需要服务器硬件,所以如果只是想看看它能做什么,先试托管版本。
如果你熟悉这个领域,每个混合专家层里激活 256 个路由专家中的 22 个,再加一个共享专家,基础模型则是 512 个里的 22 个。模型卡说,在 35 项得分里,有 28 项与原模型相差不到 3 分,并且在几项智能体基准上领先,包括 SWE-bench Pro 和 tau-squared 基准。
模型卡提供同一个模型的三种格式。更小的那些面向较新的 NVIDIA GPU。
Multiverse Computing 的 61.1B 多模态模型,是 NVIDIA Nemotron 3.5 Super 的压缩版本,接收文本、图像和视频,并保持约 12B 参数被激活。适合想用更少 GPU 通过 vLLM 部署大型开放模型的团队。
由 MultiverseComputingCAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Comet 60B 是 Multiverse Computing 推出的多模态模型,基于 NVIDIA 的 Nemotron 3.5 Super VL 120B 构建。原模型是 Mamba2 加 Transformer 的混合专家模型。Multiverse 用它的 CompactifAI 压缩技术把参数量大约减半,到 61.1 billion,而每个 token 仍然激活约 12 billion。层结构、分词器和对话模板都没有变。压缩之后,团队用文本、图像和视频数据对原模型做蒸馏,让它恢复能力。它接收文本、图像和视频输入,输出文本,并支持可配置的推理和工具调用。
适合谁:适合在自己的 GPU 上运行大型开放模型、希望获得同一系列能力但内存需求更小的团队。也适合构建智能体、文档阅读器或视频和图像助手的开发者。
Title: 谁会用它
Industry | Who uses it | How they use it | Example
软件 | 平台工程师 | 用更少的 GPU 部署一个多模态模型 | 把四块 GPU 的配置换成两块
智能体 | 智能体构建者 | 在助手里使用推理和工具调用 | 让模型在任务中调用一个工具
媒体与文档 | 分析师 | 针对图像、文档和视频提问 | 总结一段视频,或读一页扫描件
如果你没有 GPU 服务器,可以跳过它。仅 BF16 文件就有 122.3 GB。
用在哪里:Hugging Face 的记录列出了 transformers 库。模型卡说,这个模型使用与基础模型相同的 vLLM 推理和工具解析器,并用多 token 预测做推测解码。
Title: 它能做的事
Use case | Who | What they get back
图像和视频问答 | 分析师 | 关于图片和视频片段的文字回答
智能体任务 | 开发者 | 会推理并调用工具的回复
长推理 | 研究者 | 带可配置推理模式的回答
如何设置:你需要带 pip 的 Python 和一台 GPU 内存很大的服务器。模型卡说,BF16 版本在两块 H200 GPU 上就能运行,而基础模型需要四块,FP8 版本在单块 H200 上就能放下。模型卡能看到的部分只给了下载步骤,没有运行命令,所以服务部署请按模型卡的快速上手操作。
pip install -U huggingface_hub
hf download MultiverseComputingCAI/Comet_60B_A12B_BF16
如何使用:向已部署的模型发送文本、图像或视频请求,并按模型卡的说明开启或关闭推理。做工具调用时,使用与基础模型相同的工具解析器。模型卡涵盖三种格式,除非某一节另有说明,否则描述的是 BF16 版本。
Title: Comet 60B 与它的基础模型对比
Property | Nemotron 3.5 Super VL | Comet 60B
总参数量 | 124.5B | 61.1B
每个 token 激活的参数 | 12.8B | 12.3B
每层路由专家数 | 512 | 256
示例:你在两块 H200 GPU 上部署 BF16 版本,发给它一张收据的照片,请它列出商品。模型读取图像,并把清单作为文本返回。模型卡说,在同样四块 GPU 上,它在 NVIDIA 的聊天和智能体测试轨迹上,每秒输出的 token 比原模型多 20 到 23 个百分点。
新手与专家:如果你是新手,这是一个被缩小、因此需要更少 GPU 的大模型。它需要服务器硬件,所以如果只是想看看它能做什么,先试托管版本。
如果你熟悉这个领域,每个混合专家层里激活 256 个路由专家中的 22 个,再加一个共享专家,基础模型则是 512 个里的 22 个。模型卡说,在 35 项得分里,有 28 项与原模型相差不到 3 分,并且在几项智能体基准上领先,包括 SWE-bench Pro 和 tau-squared 基准。
文本、图像或视频输入
压缩后的 61.1B 模型为每个 token 路由
约 12B 参数被激活
你得到文本、推理过程或工具调用
注意事项:模型卡提供同一个模型的三种格式。更小的那些面向较新的 NVIDIA GPU。
Title: 各格式的检查点大小,GB
BF16: 122.3
FP8: 66.3
NVFP4: 40.5
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download MultiverseComputingCAI/Comet_60B_A12B_BF16
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Comet 60B 本页 | 817 | 16 | 61.1B | openmdw-1.1 | |
| Qwen3.8-27B共有 image-text-to-text · conversational · transformers | 6,960,395 | 19,795 | 27.8B | apache-2.0 | |
| gemma-4-31B-it共有 image-text-to-text · conversational · transformers | 6,692,367 | 4,348 | 31.3B | apache-2.0 | |
| GLM-5.3-Flash共有 image-text-to-text · conversational · transformers | 6,397,774 | 3,138 | 321B | mit | |
| Qwen3.5-9B共有 image-text-to-text · conversational · transformers | 6,259,809 | 2,353 | 9.7B | apache-2.0 | |
| Qwen2.5-VL-7B-Instruct共有 image-text-to-text · conversational · transformers | 5,894,471 | 1,772 | 8.3B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。