Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
开放权重的混合专家模型,总参数 309B,激活 15.5B,原生 100 万 token 上下文,为编程和 AI 研究而构建。适合在自己服务器上运行大型编程模型的团队。
Naive-N0.5-Flash 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download NaiveAI/Naive-N0.5-Flash
Naive-N0.5-Flash 是开放的混合专家模型,用于编程和 AI 研究工作。在 3090 亿参数中,同一时刻只有 155 亿处于激活状态。它原生支持 100 万 token 的上下文,使用滑动窗口注意力和更轻量的稀疏注意力,没有全注意力层。
适合自己运行大型编程模型的团队,以及研究长上下文注意力或 AI 驱动研究工作的研究人员。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 平台工程师 | 托管长上下文的编程模型 | 在一次请求里处理一个大型代码仓库 |
| AI 研究 | 机器学习研究团队 | 自动化部分模型研究和训练工作 | 运行 AI 研发基准任务 |
| 基础设施 | 推理工程师 | 研究稀疏注意力模型的快速部署 | 对比 NaiveRT 系统的速度模式 |
如果你只有一块消费级 GPU,可以跳过,因为 309B 模型需要大型多 GPU 环境。
它面向能放下 309B 模型的服务器硬件。下载步骤可在装有 Python 的 Windows、macOS 或 Linux 上进行。开发者还计划提供 API。
| Use case | Who | What they get back |
|---|---|---|
| 编程智能体 | 开发者 | 针对编程和智能体任务调优的模型 |
| 长文档 | 分析师 | 容纳最长 100 万 token 的输入 |
| 快速部署 | 基础设施团队 | 在 NaiveRT 的 Ultrafast 模式下每秒最多 2,000 个 token |
你需要 Python,以及大量的磁盘和 GPU 内存。模型卡可见部分没有给出运行命令,而是指向它的技术博客和推理系统的代码仓库。权重和推理代码采用 MIT 许可证。
pip install -U huggingface_hub hf download NaiveAI/Naive-N0.5-Flash
部署之后,发送聊天或编程提示词,并给它很长的输入。在 Standard 模式下,开发者给出每位用户每秒 50 个 token。Ultrafast 模式最高可达每秒 2,000 个 token。
| Tool | What it does |
|---|---|
| hf download | 把模型文件下载到你的电脑 |
| NaiveRT | 开发者为这个模型做的推理系统 |
你把一个大型代码库和一份缺陷报告放进一条提示词,交给已部署的副本。模型读完整个输入(最长可达 100 万 token),然后回复修复建议。
如果你是新手,这是为服务器准备的超大模型,不是在笔记本上打开的东西。先读模型卡,看看完整部署需要什么。
如果你熟悉这个领域,39 个滑动窗口层使用 128 个 token 的窗口,9 个 DeepSeek 稀疏注意力层挑选前 2,048 个 token,并使用带四个 KV 组的分组查询注意力。它建立在 MiMo-V2.5 之上,经过了 3.25 万亿个 token 的多阶段训练。
开发者还计划提供 API。每百万个 token 的标价是:输入 0.10 美元,输出 0.40 美元,缓存读取 0.01 美元。
开放权重的混合专家模型,总参数 309B,激活 15.5B,原生 100 万 token 上下文,为编程和 AI 研究而构建。适合在自己服务器上运行大型编程模型的团队。
由 NaiveAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Naive-N0.5-Flash 是开放的混合专家模型,用于编程和 AI 研究工作。在 3090 亿参数中,同一时刻只有 155 亿处于激活状态。它原生支持 100 万 token 的上下文,使用滑动窗口注意力和更轻量的稀疏注意力,没有全注意力层。
适合谁:适合自己运行大型编程模型的团队,以及研究长上下文注意力或 AI 驱动研究工作的研究人员。
Industry | Who uses it | How they use it | Example
软件 | 平台工程师 | 托管长上下文的编程模型 | 在一次请求里处理一个大型代码仓库
AI 研究 | 机器学习研究团队 | 自动化部分模型研究和训练工作 | 运行 AI 研发基准任务
基础设施 | 推理工程师 | 研究稀疏注意力模型的快速部署 | 对比 NaiveRT 系统的速度模式
如果你只有一块消费级 GPU,可以跳过,因为 309B 模型需要大型多 GPU 环境。
用在哪里:它面向能放下 309B 模型的服务器硬件。下载步骤可在装有 Python 的 Windows、macOS 或 Linux 上进行。开发者还计划提供 API。
Use case | Who | What they get back
编程智能体 | 开发者 | 针对编程和智能体任务调优的模型
长文档 | 分析师 | 容纳最长 100 万 token 的输入
快速部署 | 基础设施团队 | 在 NaiveRT 的 Ultrafast 模式下每秒最多 2,000 个 token
如何设置:你需要 Python,以及大量的磁盘和 GPU 内存。模型卡可见部分没有给出运行命令,而是指向它的技术博客和推理系统的代码仓库。权重和推理代码采用 MIT 许可证。
pip install -U huggingface_hub
hf download NaiveAI/Naive-N0.5-Flash
如何使用:部署之后,发送聊天或编程提示词,并给它很长的输入。在 Standard 模式下,开发者给出每位用户每秒 50 个 token。Ultrafast 模式最高可达每秒 2,000 个 token。
Tool | What it does
hf download | 把模型文件下载到你的电脑
NaiveRT | 开发者为这个模型做的推理系统
示例:你把一个大型代码库和一份缺陷报告放进一条提示词,交给已部署的副本。模型读完整个输入(最长可达 100 万 token),然后回复修复建议。
新手与专家:如果你是新手,这是为服务器准备的超大模型,不是在笔记本上打开的东西。先读模型卡,看看完整部署需要什么。
如果你熟悉这个领域,39 个滑动窗口层使用 128 个 token 的窗口,9 个 DeepSeek 稀疏注意力层挑选前 2,048 个 token,并使用带四个 KV 组的分组查询注意力。它建立在 MiMo-V2.5 之上,经过了 3.25 万亿个 token 的多阶段训练。
最长 100 万 token 的长输入
滑动窗口层处理邻近 token
稀疏注意力层挑选关键 token
混合专家回复,激活 155 亿
注意事项:开发者还计划提供 API。每百万个 token 的标价是:输入 0.10 美元,输出 0.40 美元,缓存读取 0.01 美元。
Title: 48 层网络中的注意力层
Sliding-window layers: 39
Sparse attention layers: 9
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download NaiveAI/Naive-N0.5-Flash
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Naive-N0.5-Flash 本页 | 8,145 | 353 | — | mit | |
| Terminal-RSI-27B共有 long-context · code · text-generation | 2,536 | 33 | 27.8B | apache-2.0 | |
| MiniCPM5-2B共有 long-context · text-generation · conversational | 1,039,518 | 1,850 | 2.5B | apache-2.0 | |
| Sharp-Spark-X2.5-4B-GGUF共有 long-context · text-generation · conversational | 875,346 | 164 | 4.1B | apache-2.0 | |
| MiniCPM5-2B-GGUF共有 long-context · text-generation · conversational | 481,119 | 393 | 2.5B | apache-2.0 | |
| MiMo-V2.6-Flash-RL共有 long-context · text-generation · conversational | 64,057 | 594 | 311B | mit |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。