能听语音、看照片和视频的 WhatsApp 助手

能听语音、看照片和视频的 WhatsApp 助手

一个回答发到你 WhatsApp 商务号码的消息的 n8n 工作流。文字直接交给 AI 智能体。语音、照片或视频先由 Google Gemini 模型变成文字，然后智能体在同一个聊天里回答。智能体会记住每个人聊天的最近几条，还能到维基百科查资料。

包里有什么

• workflow.json：n8n 导出的工作流，24 个工作节点和 11 张便签。里面没有任何凭据。
• README.md：这份设置说明，压缩包里的是英文版。

我们相对原来的副本改了什么

• 原来的副本在五个地方写了模型 gemini-1.5-pro-002：三个聊天模型节点和两个对 Gemini 的 HTTP 调用。Google 的模型列表（2026 年 11 月 12 日查阅）里已经没有任何 Gemini 1.5 模型。这五处现在都写 gemini-3.8-flash，Google 的页面把它列为稳定版，输入支持文字、图片、视频、音频和 PDF。
• 两个对 Gemini 的 HTTP 调用原来用文件扩展名来决定文件类型。现在它们读取 WhatsApp 在 Get Audio URL 和 Get Video URL 里返回的 mime_type，去掉分号后面的内容，只有缺少时才用扩展名。
• Text Summarizer 在消息没有文字时（比如贴纸或位置）会因为提示为空而停下。现在它会收到一句简短的说明，告诉它来的是哪种消息，所以智能体可以回答。
• 原作者号码的电话号码 ID 现在是 <YOUR_PHONE_NUMBER_ID>，智能体提示里的拼写错误已修正，并加了怎么用维基百科的说明。
• 记忆键 whatsapp-tutorial-<号码> 现在是 whatsapp-<号码>。
• 便签已重写，没有任何外部链接。所有凭据引用和 webhook id 都已移除。

开始之前

• 一个有公开 HTTPS 地址的 n8n 实例。WhatsApp 会把每条消息发到那里。
• 一个 Meta 开发者账号，和一个添加了 WhatsApp 产品的商务应用。n8n 的凭据页面（2026 年 11 月 12 日查阅）说，应用需要隐私政策地址和服务条款地址，并且要切换到 Live 模式、通过审核后才能正式上线。
• n8n 里的两个 WhatsApp 凭据。触发器用应用的 Client ID（Meta 应用 ID）和 Client Secret（应用密钥）。发送和媒体步骤用访问令牌和 Business Account ID。
• 来自 Google AI Studio 的 Google Gemini API 密钥。

设置

1. 在 n8n 里新建一个工作流，打开它的菜单，选 Import from File，选中 workflow.json。
2. 在 WhatsApp Trigger 里，添加一个 WhatsApp OAuth 凭据，填你 Meta 应用的 Client ID 和 Client Secret。
3. 在 Get Audio URL、Get Video URL、Get Image URL 和 Respond to User 里，添加一个 WhatsApp 凭据，填你的访问令牌和 Business Account ID。
4. 在 Download Audio、Download Video 和 Download Image 里，选同一个 WhatsApp 凭据。
5. 在 Respond to User 里，在 Phone Number ID 列表中选你的号码，替换 <YOUR_PHONE_NUMBER_ID>。
6. 添加一个 Google Gemini (PaLM) API 凭据，填你的密钥。在 Google Gemini Chat Model、Google Gemini Chat Model1、Google Gemini Chat Model2、Google Gemini Audio 和 Google Gemini Video 里选它。
7. 打开这个工作流。WhatsApp 只会把消息发给处于启用状态的工作流。
8. 用你自己的手机给这个号码发一条文字，再发语音、照片和一段短视频，检查每个回答。

一次运行是怎么走的

1. WhatsApp Trigger 收到 WhatsApp 的一次调用。Split Out Message Parts 为每条消息生成一个条目。不含消息的调用（比如送达回执）不会产生条目，到这里就结束了。
2. Redirect Message Types 按类型把条目送到四条路径之一：音频、视频、图片，其余的都当文字。
3. 对音频和视频，Get Audio URL 或 Get Video URL 向 WhatsApp 要文件的地址，Download Audio 或 Download Video 取回文件，Google Gemini Audio 或 Google Gemini Video 以内联方式把它发给 Gemini。Format Response1 或 Format Response 留下返回的文字。
4. 对图片，Get Image URL 和 Download Image 取回文件，Image Explainer 让 Gemini 描述它并抄出其中的文字。
5. 对文字，Get Text 把消息传下去，Text Summarizer 把它缩短。没有文字的消息会得到一句简短的说明。
6. Get User's Message 汇总类型、文字或描述、说明文字和发送者的号码。
7. AI Agent 用 Google Gemini Chat Model、Window Buffer Memory 和 Wikipedia 工具作答。
8. Respond to User 把回答发给来信的号码。

改变效果

• 智能体的指令在 AI Agent 的 Options 里。按你的业务来改，并给智能体加工具，用来预约、查订单或检查文件。
• 模型在三个聊天模型节点里，以及两个 Gemini HTTP 调用的网址里。
• 智能体记住多少条之前的消息，是 Window Buffer Memory 里的窗口大小，默认五条。
• Gemini 怎么处理语音或视频，是 Google Gemini Audio 和 Google Gemini Video 里的文字。

需要知道

• 任何有这个号码的人都能给它发消息。每条消息都会消耗 Gemini 的令牌，而工作流没有允许发送者的名单。
• Meta 的指南（2026 年 11 月 12 日查阅）说，用户的一条消息会开启 24 小时的客服窗口。窗口内允许自由格式的回复，窗口外只能发模板消息。这个工作流立刻回答，所以始终在窗口内。
• WhatsApp 的媒体地址只能用 5 分钟，并且需要访问令牌，所以下载紧接着进行。Meta 给出的上限是音频和视频 16 MB、图片 5 MB。
• Google 的音频页面（2026 年 11 月 12 日查阅）把一次请求总共限制在 20 MB，文件也算在内，所以较长的视频可能失败。工作流不检查文件大小。
• Gemini 调用读取文件用的是 $input.item.binary.data.data。如果你的 n8n 把文件存在磁盘或 S3，这个字段里放的是引用而不是文件，你需要加一个把文件转成 base64 字符串的 Extract From File 步骤。
• Meta 关于商务范围用户 ID 的页面（2026 年 11 月 12 日查阅）说，开启了用户名的用户，消息里可能没有电话号码，这时消息里带的是 from_user_id，没有 from。这个工作流用 from 做记忆键和回复对象，所以这样的人收不到回答。Mindket 没有检查 n8n 的 WhatsApp 节点能否发给那个 ID。
• 记忆在 n8n 进程里，所以重启会清空。每个发送者的号码保留一个会话。
• 语音、照片或视频由 Gemini 描述，智能体读到的只是描述。回复始终是文字。
• 智能体是节点版本 1.6，Gemini 聊天模型是版本 1。更新的版本已经有了，这份副本没有升级过去。
• 你的数据：每条消息，以及每段语音、照片和视频，都会发到 Google，回答经过 Meta。
• 没有运行：Mindket 没有调用 WhatsApp、Google 或维基百科来测试这个文件。它在测试运行器里用替身回答跑了一遍，文字、语音、视频、照片和贴纸都得到了回复。
• JSON 里没有任何凭据。