Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
一个 n8n 聊天:每条消息都发给你自己 Ollama 服务器上的 Llama 3.2。模型把回答写成一个 JSON 对象,聊天里显示你的提问、模型的回答和它出自的 JSON。
在本地 Ollama 模型上聊天,回答是 JSON 是一款 n8n 工作流,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,或复制它的 JSON,再导入 n8n 画布。在 n8n 里启用之前,它不会运行。
聊天消息
你在 n8n 的聊天里发一条消息时开始运行:
一条聊天回复,复述你的提问,给出模型的回答,并附上这个回答所出自的 JSON
开始之前要准备好这些。
本地语言模型
在你自己的服务器上运行 Llama 3.2,为每条消息写出回答。
需要一台已拉取该模型的 Ollama 服务器,以及 n8n 里的一个 Ollama 凭据
由 Mindket 于 2026年11月13日检查
这个 n8n 工作流是一个聊天,跑在你自己托管的模型上。每条消息都发给 Ollama 服务器上的 Llama 3.2,并附一条指令,要求它把回答写成含 Prompt 和 Response 的 JSON 对象。工作流读取这个对象,聊天里显示你的提问、模型的回答和原始 JSON。如果模型这一步出错,聊天就回一行普通的提示。文件里有九个节点,其中三个是便签。
想先在 n8n 聊天里试用本地模型,再把它接进更大系统的开发者和团队。如果你需要能记住前面消息的聊天,就别选它。这个聊天每条消息都单独回答。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| IT 服务 | 小型 IT 团队 | 试一个不把文字发给云服务的模型 | 一个团队让本地模型改写一段简短的制度,在自己的服务器上检查回答。 |
| 软件 | 开发者 | 检查小模型返回的 JSON 能不能被工作流读取 | 一位开发者要一个产品名和一句宣传语,检查两者是否都落进了各自的字段。 |
| 教育 | AI 课程的老师 | 给全班演示一个在笔记本上运行的模型 | 一位讲师当场问一个问题,给大家看返回的 JSON。 |
| 研究 | 分析师 | 比较本地模型怎样回应同一条提示 | 一位分析师换掉模型名,把同一个问题问两次。 |
你需要懂一点 n8n,还要有一台运行中的 Ollama 服务器:导入文件、加一个凭据、拉取一个模型。
任何能访问你的 Ollama 服务器的 n8n 都能运行它。
点“下载”会把一个压缩包存到你的下载文件夹,里面有 workflow.json 和 Mindket 写的设置说明。运行聊天之前先把模型拉取下来。
| 需要 | 说明 |
|---|---|
| n8n | n8n Cloud 或你自己的服务器 |
| Ollama | 一台 n8n 能访问的服务器,已用 ollama pull llama3.2 拉取模型 |
| 凭据 | 一个 Ollama 凭据,里面是服务器的地址 |
workflow.json。http://localhost:11434,除非你改过 OLLAMA_HOST。http://ollama:11434,两者要在同一个 Docker 网络里。Ollama Model 里选中这个凭据,并确认 ollama list 里有 llama3.2:latest。在聊天里输入一个问题。模型被要求用 JSON 对象回答,工作流把它变成三部分:你的提问、模型的回答和原始 JSON。
| 要改的 | 在哪里 |
|---|---|
| 回答的形状 | Basic LLM Chain 里的提示,以及 Structured Response 里的同样字段 |
| 模型 | Ollama Model,换成任何你拉取过的模型 |
| 聊天显示什么 | Structured Response 里的文字 |
| 出错时那一行 | Error Response |
你在聊天里输入这句话。
Name three uses for a compost bin
模型把回答写成一个 JSON 对象。聊天随后显示“Your prompt was”这一行、你的问题、“My response is”这一行、模型的回答,下面是模型写出的原样 JSON。
新手:n8n 把工作流画成用线连起来的方框,每个方框叫节点,只做一件事。这里聊天框连着一条链,链下面挂着一个模型节点当它的大脑。先用一个短问题试,再到 Executions 里打开这次运行,看模型返回的原始文字。
专家:这条链有一个错误输出,它的第二个分支是通向 Error Response 的唯一路径。
| 节点 | 做什么 | 要知道什么 |
|---|---|---|
Basic LLM Chain | Basic LLM Chain 1.5,带固定提示,设为出错时走错误输出 | 模型调用失败时会到 Error Response |
Ollama Model | Ollama 模型节点,llama3.2:latest | 它需要一个 Ollama 凭据 |
JSON to Object | Set 3.4,一个名为 response、类型为对象的字段 | 文字不是 JSON 时,运行在这里停下 |
Structured Response | Set 3.4,一个名为 text 的字段 | 它还会贴上链返回的原始文字 |
小模型不一定总能守住格式,而读取 JSON 的那个节点没有自己的错误路径。
llama3.2:latest 是 3B 模型,下载 2.0 GB(Ollama 的模型库页面,2026 年 11 月 12 日读取)JSON to Object 停下,Error Response 不会回答一个跑在你自己模型上的 n8n 聊天。每条消息都发给 Ollama 服务器上的 Llama 3.2,并要求模型把回答写成含 Prompt 和 Response 的 JSON 对象。聊天里显示你的提问、模型的回答和原始 JSON。
workflow.json:n8n 导出的工作流,九个节点。其中三个是便签。里面没有任何凭据。README.md:这份设置说明,压缩包里的是英文版。ollama pull llama3.2。n8n Cloud 只能用能从互联网访问到的 Ollama 服务器。workflow.json。http://localhost:11434,除非你改过 OLLAMA_HOST。如果 n8n 跑在 Docker 里,localhost 指的是容器自己:把 n8n 和 Ollama 放进同一个 Docker 网络,用 Ollama 容器的名字,比如 http://ollama:11434。Ollama Model 里选中这个凭据。它的模型是 llama3.2:latest,请运行 ollama list,确认名字对得上。When chat message received 把你的消息作为 chatInput 传下去。Basic LLM Chain 拼出它的提示:给出问题,并要求回答成含 Prompt 和 Response 字段的 JSON 对象,不要前言。Ollama Model 写出回答。JSON to Object 把回答的文字读成一个对象,存进名为 response 的字段。Structured Response 在名为 text 的字段里写出聊天的回复:你的提问、模型的回答,以及“This is the JSON object”这一行下面链返回的原始文字。Error Response,后者回复 “There was an error.”Basic LLM Chain 里的提示。如果你给它加了字段,要在 Structured Response 里读取它们。Ollama Model,可以换成你拉取过的任何模型。Error Response。llama3.2:latest 是 3B 模型,下载 2.0 GB(Ollama 的模型库页面,2026 年 11 月 12 日读取)。小模型不一定总能守住格式。JSON to Object 没有自己的错误路径。回答不是有效的 JSON 时,比如被包在代码块里,运行会在这个节点停下,Error Response 不会回答。NOTICE.md 636 B README.md 3 KB workflow.json 5 KB
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。