从取样帧生成视频旁白脚本和配音

从取样帧生成视频旁白脚本和配音

一个 n8n 工作流，为一段视频写旁白。它下载一个视频，在视频里均匀挑出最多 90 帧，分成每批 15 帧发给 OpenAI 视觉模型，模型一批接一批地写旁白脚本。写好的脚本交给 OpenAI 语音合成，mp3 配音上传到 Google Drive。

包里有什么

• workflow.json：n8n 导出的工作流，14 个工作节点和七张便签。里面没有任何凭据。
• README.md：这份设置说明，压缩包里的是英文版。
• 示例视频来自 Pixabay 上的 Coverr-Free-Footage。

我们相对原来的副本改了什么

• Capture Frames 是一个 Python 节点。原来的副本丢了缩进，每一行都在同一层，所以跑不起来。它还用 _input.item.binary.data.data 来读视频，而 n8n 的 Python 运行器没有它。现在脚本重新缩进，并读取 _item["binary"]["data"]["data"]。它从没用到的 NumPy 导入也去掉了。
• n8n 里的 Python 变了。Code 节点页面（2026 年 11 月 12 日查阅）说旧的 Python 选项 Pyodide 已从 n8n 2.0 移除，并说 n8n Cloud 不允许 Python 导入。这一步需要 OpenCV，所以需要你自己的服务器，和一个带 OpenCV 的 Python 运行器。见“开始之前”。
• OpenAI Chat Model 原来是 gpt-4o-2024-08-06。OpenAI 的弃用页面（2026 年 11 月 12 日查阅）列出它在 2027 年 1 月 14 日关停，替代是 gpt-6-luna。节点现在是 1.2 版，模型是 gpt-6-luna。它的模型页面（同一天查阅）列出了图片输入和聊天请求。
• Stay Within Service Limits 原来没有设任何值，所以用的是 n8n 的默认值，也就是一小时。现在它等 30 秒。
• 提示词原来要求某位知名播音员的风格。现在要求自然纪录片解说员的风格。
• Upload to GDrive 原来有作者自己的文件夹 ID。现在是 YOUR_FOLDER_ID。
• 七张便签已重写，里面没有外部链接。
• 每个凭据引用都已移除，由你自己选。

开始之前

• 你自己的 n8n 服务器。n8n Cloud 跑不了取帧这一步，因为它不允许 Python 导入。
• 一个带 OpenCV 的 Python 任务运行器。按下面的第 2 步设置。
• 一个能用 gpt-6-luna 和 OpenAI 语音接口的 OpenAI API 密钥。
• 一个 Google 账号、一个 Drive 文件夹和一个 Google Drive OAuth2 凭据。
• Edit Image 节点要用 GraphicsMagick。n8n 自己的 Docker 镜像里已包含，自己搭的服务器要另外装。
• 足够的内存。视频和它的帧都放在内存里，很长的视频会让你的 n8n 停下来。

设置

1. 在 n8n 里新建一个工作流，打开它的菜单，选 Import from File。选 workflow.json。
2. 给 Python 运行器装上 OpenCV。n8n 的任务运行器页面（同一天查阅）介绍了怎样构建带额外 Python 包的运行器镜像，以及怎样允许它们。在那个镜像里安装 opencv-python-headless，把 N8N_RUNNERS_EXTERNAL_ALLOW 设为 cv2，把 N8N_RUNNERS_STDLIB_ALLOW 设为 base64。运行器的源码（同一天查阅）默认禁用 open，而这个脚本用它先把视频存下来再读取。把 N8N_RUNNERS_BUILTINS_DENY 设为默认列表，但去掉 open。
3. 添加一个 OpenAI 凭据，在 OpenAI Chat Model 和 Use Text-to-Speech 里选它。
4. 添加一个 Google Drive OAuth2 凭据，在 Upload to GDrive 里选它。把 YOUR_FOLDER_ID 换成你的文件夹的 ID，它是文件夹地址里 /folders/ 后面的部分。
5. 想用你自己的视频，就改 Download Video 里的地址。选一个短的，并且是 OpenCV 能读的格式。
6. 先单独运行 Download Video，再运行 Capture Frames。它们返回帧之后，再点 Test workflow。

一次运行是怎么走的

1. Download Video 下载示例 mp4，大约 3 MB。
2. Capture Frames 把视频存成临时文件，按均匀的间隔逐段读取，并把每一帧作为一个 jpeg 的 base64 文字，放进同一个列表里返回。
3. Split Out Frames 为每一帧做一个条目。
4. For Every 15 Frames 每次取 15 帧。它的完成线去 Combine Script，循环线去 Convert to Binary。
5. Convert to Binary 把每段文字变成图片文件。Resize Frame 把它缩进 768 x 768 像素以内，保持比例，输出 jpeg。Aggregate Frames 把 15 张图片放到同一个条目上。
6. Generate Narration Script 附上这 15 张图片，让 OpenAI Chat Model 写一段简短的配音脚本。从第二轮起，提示词里还带着已写好的脚本，所以故事会接着讲下去。
7. Stay Within Service Limits 等 30 秒，然后循环取下一批 15 帧。
8. Combine Script 把各部分收集起来。Use Text-to-Speech 用换行把它们连起来，做成一个 mp3。Upload to GDrive 把它存进你的文件夹，文件名是 narrating-video-using-vision-ai- 加上时间，以 .mp3 结尾。

改成你要的样子

• 旁白的风格：Generate Narration Script 里的提示词。
• 取多少帧：Capture Frames 里的 max_frames。
• 每批的大小：For Every 15 Frames。链有 15 个图片位，所以更大的批要在那里加图片位。
• 帧的大小：Resize Frame 里的宽和高。
• 声音：Use Text-to-Speech 里的模型和声音。
• 停顿：Stay Within Service Limits。
• 视频：Download Video 里的地址。

注意事项

• Capture Frames 是最难的一步。OpenCV 的调用是原来的，只有缩进和读取视频的方式变了，所以在依赖它之前，先单独对示例视频运行一次。
• gpt-6-luna 是 OpenAI 的弃用页面为原来那个带日期的 gpt-4o 版本指定的替代。
• Use Text-to-Speech 没有设模型，所以 n8n 用它的默认值 tts-1。同一个弃用页面列出 tts-1、tts-1-hd 和 gpt-4o-mini-tts 在 2027 年 1 月 6 日关停，替代是 gpt-realtime-2.1-mini。语音合成指南（同一天查阅）说，这个节点调用的语音接口不支持那个模型。节点在关停之前还能用，所以要在那之前计划好替换这一步。
• OpenAI 的使用政策（同一天查阅）要求你告诉听众这个声音是 AI 生成的。
• n8n 的节点说，语音文字最多 4096 个字符。六个短的部分通常装得下，更长的脚本需要拆开。
• 一次 90 帧的运行，OpenAI 会计六次每次带 15 张图片的聊天请求，和一次语音请求。
• 这些等待会让一次运行多出三分钟。如果你的速率限制很高，就缩短或删掉 Stay Within Service Limits。
• 帧、脚本和旁白提示词发给 OpenAI，做好的 mp3 发给 Google Drive。