Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
Microsoft Research 推出的 14B 开放语言模型,针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能,或研究中等规模模型的开发者。
Phi-4 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install -U huggingface_hub hf download microsoft/phi-4
Phi-4 是 Microsoft Research 推出的开放语言模型,有 14 billion 参数,是稠密的纯解码器 Transformer。它的训练混合了合成数据、过滤后的公开网页、学术书籍和问答集,重点放在推理上。之后又经过监督微调和直接偏好优化,使它能紧密地遵循指令。
适合给内存、算力或响应时间都紧张的产品添加文本功能的开发者。研究语言模型的人也可以把它当作构件来用。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 软件 | 应用开发者 | 在有限的硬件上给产品加入对话或推理 | 把它放在用英语回答的客服助手后面运行 |
| 研究 | 语言模型研究者 | 研究一个中等规模的开放模型 | 把它的表现与其他开放模型对比 |
| 教育 | 学习工具开发者 | 为数学和逻辑问题提供分步帮助 | 为一道推理题返回详细的解答过程 |
如果你需要很强的非英语输出,可以跳过它。模型卡说它面向英语,训练数据里只有约 8% 是多语言的。
Hugging Face 的记录列出了 transformers 库,所以 Python 是主要的使用场所。模型卡说它最适合用对话格式的提示词。
| Use case | Who | What they get back |
|---|---|---|
| 内存受限的部署 | 开发者 | 比更大的模型更适合小型环境的能干的文本模型 |
| 低延迟功能 | 产品团队 | 对话格式下的快速文字回复 |
| 推理和逻辑 | 研究者 | 对推理任务的文字回答 |
你需要带 pip 的 Python 和 transformers 库,以及放下约 29.3 GB BF16 权重的内存。模型卡能看到的部分没有给出加载代码,所以请按模型卡操作。
pip install -U huggingface_hub hf download microsoft/phi-4
发送文字提示词,最好写成带角色的对话。模型以生成的文字回复。它的上下文长度是 16K 个 token,所以提示词和回答都要控制在这个范围内。
你发一条对话消息,请它一步步解释为什么两个偶数的和是偶数。模型用文字回答,并按顺序摆出推理过程。在依赖它的答案之前,请先检查一遍。
如果你是新手,这是一个你自己运行的文本模型。先用一段简短的对话提示词,看它是怎么推理的,再试更长的任务。
如果你熟悉这个领域,模型卡说训练数据是在 Phi-3 的数据基础上,加入了面向数学、编程和常识的合成教科书式数据。模型在 1920 块 H100 GPU 上用 9.8 trillion 个 token 训练。取舍是它选择了小型稠密模型,重在数据质量而不是规模。
这是一个静态模型,在离线数据集上训练,所以它的公开数据止于截止时间。
Microsoft Research 推出的 14B 开放语言模型,针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能,或研究中等规模模型的开发者。
由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Phi-4 是 Microsoft Research 推出的开放语言模型,有 14 billion 参数,是稠密的纯解码器 Transformer。它的训练混合了合成数据、过滤后的公开网页、学术书籍和问答集,重点放在推理上。之后又经过监督微调和直接偏好优化,使它能紧密地遵循指令。
适合谁:适合给内存、算力或响应时间都紧张的产品添加文本功能的开发者。研究语言模型的人也可以把它当作构件来用。
Title: 谁会用它
Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在有限的硬件上给产品加入对话或推理 | 把它放在用英语回答的客服助手后面运行
研究 | 语言模型研究者 | 研究一个中等规模的开放模型 | 把它的表现与其他开放模型对比
教育 | 学习工具开发者 | 为数学和逻辑问题提供分步帮助 | 为一道推理题返回详细的解答过程
如果你需要很强的非英语输出,可以跳过它。模型卡说它面向英语,训练数据里只有约 8% 是多语言的。
用在哪里:Hugging Face 的记录列出了 transformers 库,所以 Python 是主要的使用场所。模型卡说它最适合用对话格式的提示词。
Title: 它能做的事
Use case | Who | What they get back
内存受限的部署 | 开发者 | 比更大的模型更适合小型环境的能干的文本模型
低延迟功能 | 产品团队 | 对话格式下的快速文字回复
推理和逻辑 | 研究者 | 对推理任务的文字回答
如何设置:你需要带 pip 的 Python 和 transformers 库,以及放下约 29.3 GB BF16 权重的内存。模型卡能看到的部分没有给出加载代码,所以请按模型卡操作。
pip install -U huggingface_hub
hf download microsoft/phi-4
如何使用:发送文字提示词,最好写成带角色的对话。模型以生成的文字回复。它的上下文长度是 16K 个 token,所以提示词和回答都要控制在这个范围内。
示例:你发一条对话消息,请它一步步解释为什么两个偶数的和是偶数。模型用文字回答,并按顺序摆出推理过程。在依赖它的答案之前,请先检查一遍。
新手与专家:如果你是新手,这是一个你自己运行的文本模型。先用一段简短的对话提示词,看它是怎么推理的,再试更长的任务。
如果你熟悉这个领域,模型卡说训练数据是在 Phi-3 的数据基础上,加入了面向数学、编程和常识的合成教科书式数据。模型在 1920 块 H100 GPU 上用 9.8 trillion 个 token 训练。取舍是它选择了小型稠密模型,重在数据质量而不是规模。
对话提示词输入
稠密 Transformer 读取最多 16K 个 token
它生成文字回复
你在使用前检查回复
注意事项:这是一个静态模型,在离线数据集上训练,所以它的公开数据止于截止时间。
Title: 权重大小,约数
BF16: 29.3 GB
4-bit estimate: 7.3 GB
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download microsoft/phi-4
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 5 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Phi-4 本页 | 236,972 | 2,343 | 14.7B | mit | |
| Phi-4-mini-instruct共有 phi3 · code · text-generation | 332,457 | 888 | 3.8B | mit | |
| CherryPit-1.2-2B共有 math · code · text-generation | 451 | 6 | 2.5B | apache-2.0 | |
| officialmobai_Rostam-S1-4B-GGUF共有 math · code · text-generation | 1,091 | 2 | 4.1B | apache-2.0 | |
| Qwen2.5-Coder-14B-Instruct共有 chat · code · text-generation | 1,860,327 | 214 | 14.8B | apache-2.0 | |
| Qwen2.5-Coder-7B-Instruct共有 chat · code · text-generation | 1,505,999 | 872 | 7.6B | apache-2.0 |
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。