把社交主页抓取到 Google 表格

把社交主页抓取到 Google 表格

一个 n8n 工作流。给它的聊天发一个 LinkedIn、YouTube、Instagram 或 X 主页的链接，它通过 Apify 抓取最近的帖子，记进一个 Google 表格，每个平台一张工作表。新增的 Instagram 和 YouTube 行随后会得到转写文字。

包里有什么

• workflow.json：n8n 导出的工作流，37 个节点，其中三个是便签。里面没有任何凭据。Apify 令牌、表格和工作表的 id，以及一个 Apify 代理组名称，都留成了占位符。
• README.md：就是这份说明。

开始之前

• 一个 n8n 实例，用 n8n Cloud 或你自己的服务器都行。
• 一个 OpenAI API 密钥。
• 一个 Apify 账号和它的 API 令牌。文件会调用五个 Apify 抓取器，每次运行都记在这个账号上。
• 一个你的 Apify 账号能用的代理组，用于 YouTube 转写这一步。
• 一个 Google 账号，和一个你自己的、有四张工作表的表格。表头见下面。

准备表格

做一个表格，里面四张工作表。每张工作表的第 1 行填下面这些表头，要完全一致，因为节点是按名称找列的。工作表叫什么无所谓，因为节点是按 id 选工作表的。

• LinkedIn，放在第一张工作表：url、posted_at、text、author、profile_url、follower_count
• YouTube：url、date、channelName、channelUrl、numberOfSubscribers、viewCount、title、thumbnailUrl、id、videoUrl、Caption、likes、duration、Transcript
• Instagram Reels：url、timestamp、Created、ownerUsername、videoUrl、Transcript、caption、likesCount、hashtags/0 到 hashtags/15、videoViewCount、videoDuration、commentsCount
• X：url、author、createdAt、author/twitterUrl、author/followers、viewCount、likeCount、text

设置

1. 在 n8n 里新建一个工作流，打开它的菜单，选 Import from File，选中 workflow.json。
2. 添加一个 OpenAI 凭据，在 OpenAI Chat Model、OpenAI 和 OpenAI1 里选中它。
3. 添加一个 Google Sheets 凭据，在 12 个 Sheets 节点里选中它：Add Records to IG Sheet、Add Records to YT Sheet、Add Records to LI Sheet、Add Records to X Sheet、Find IG Rows、Find YT Rows、Find LI Rows、Find X Rows、Update IG Sheet Transcript、Update YT Sheet Transcript 和两个 Trigger: Row Added 节点。
4. 在这些节点里，把 YOUR_SHEET_ID 换成你表格的 id。把 YOUR_IG_REELS_TAB_ID、YOUR_YOUTUBE_TAB_ID 和 YOUR_X_TAB_ID 换成对应工作表的 id，也就是工作表地址里 gid= 后面的数字。LinkedIn 的节点用 gid=0，也就是第一张工作表。
5. 在 LinkedIn Scraper、YouTube Scraper、Instagram Reel Scraper、X Scraper 和 Generate Transcript 的 Authorization 请求头里，把 <YOUR_APIFY_TOKEN> 换成你的 Apify 令牌。Bearer 和它后面的空格要保留。
6. 在 Generate Transcript 里，把请求体中的 YOUR_APIFY_PROXY_GROUP 换成你选好的代理组的名称。
7. 保存，在编辑器里打开聊天，发一个主页链接做测试。然后点画布顶部的 Publish 发布（或按 Shift+P），因为两个 Sheets 触发器只有在工作流发布后才会运行。

来源页面让你创建一个 Apify 凭据，再在 Authentication 部分里选中它。文件里没有这样的设置，所以令牌要填在请求头字段里。如果想把它放在凭据里，就创建一个 HTTP Header Auth 凭据，在这五个节点里选中它，并删掉它们的 Authorization 请求头。

一次运行是怎样的

• 聊天消息先到 Text Classifier，它用 OpenAI Chat Model（GPT-4o mini）。它把链接分到 LinkedIn、YouTube、Instagram 或 X，每个分类有自己的输出。
• 这个输出接到一个抓取器，抓取器调用一个 Apify 抓取器并等结果。LinkedIn Scraper 要 20 条帖子，X Scraper 要 20 条，Instagram Reel Scraper 要 30 条 Reels，YouTube Scraper 要 10 个视频和 10 个 Shorts。
• 一个 Find 节点在表格里按链接查找。一个 Merge 节点保留没有匹配的抓取内容，一个 Add Records 节点把它们写进该平台的工作表。在 YouTube 分支上，If2 还会丢掉没有 id 的内容。
• Instagram 转写：Trigger: Row Added (IG Sheet) 每分钟检查一次工作表，If 放行 Transcript 为空的行。Loop Over Items 一次取一行。Download IG Reel 下载 videoUrl，OpenAI 转写音频，Edit Fields 把文字命名为 Transcript，Update IG Sheet Transcript 按 url 匹配，把它写进那一行。
• YouTube 转写：Trigger: Row Added (YT Sheet)、If1 和 Loop Over Items1 的做法一样。然后 Generate Transcript 向第二个 Apify 抓取器要视频的字幕，OpenAI1（GPT-4o）把字幕合成一段文字，Edit Fields1 把它命名为 Transcript，Update YT Sheet Transcript 把它写进去。
• LinkedIn 和 X 的帖子只记录，不做转写。

改变效果

• 每次的帖子数：LinkedIn Scraper 里的 limit、X Scraper 里的 maxItems、Instagram Reel Scraper 里的 resultsLimit，以及 YouTube Scraper 里的 maxResults 和 maxResultsShorts。
• 平台：Text Classifier 的分类。新增一个平台还要加它自己的抓取器、Find、Merge 和 Add Records 节点。
• 保存的列：每个 Add Records 节点里的字段列表。url 要继续作为匹配列。
• 轮询：两个 Trigger: Row Added 节点每分钟检查一次。
• 模型：OpenAI Chat Model 里的 gpt-4o-mini 和 OpenAI1 里的 gpt-4o。

注意事项

• 每次运行要付两份钱。Apify 对每次抓取收费，OpenAI 对分类、Reel 转写和字幕合并收费。第一次在一个内容很多的 Instagram 主页上运行，可能会转写 30 条 Reels。
• 每条消息只发一个链接。分类器有四个分类，对其他内容没有兜底。
• LinkedIn Scraper 把消息当作 company_name 发出，Instagram Reel Scraper 把它当作 username 发出。每个平台先用一个真实链接试一次，看抓取器返回了什么。如果有一个不接受完整链接，就发它要的内容。
• OpenAI1 一次请求就拿到一个视频的全部字幕，所以长视频费用更高，特别长的可能超出模型的上限。
• 抓取可能违反平台的条款，而且表格里会有别人的名字、帖子和粉丝数。先看清条款，并把表格保持私有。
• 第一次运行时的两项检查。Merge3 里的 LinkedIn 检查比较的是 url，而抓取器的内容带的是 post_url，所以它可能保留每一条帖子，之后 Add Records to LI Sheet 会就地更新重复的行。另外 Update IG Sheet Transcript 从 Download IG Reel 读取 url，而它的输出是下载的文件。确认转写落在了正确的行上。如果没有，就改成从 Loop Over Items 读取 url。
• 四个 Merge 节点依赖输入的顺序：表格查找在前，抓取器在后。如果你重新连线，要保持这个顺序。
• 文件只用 id 来称呼每个 Apify 抓取器，写在节点的地址里。运行之前，先到 Apify 上逐个打开这些 id，看看它们是什么、要花多少钱。
• Apify 令牌放在五个节点的请求头字段里，所以导出工作流时会一起带走。分享之前要先把它删掉。
• Mindket 拿到的那份副本，把 Find YT Rows、Find IG Rows 和 Find X Rows 指向了表格的一个模板副本，和其他节点写入的不是同一个文件。Mindket 把每个 Sheets 节点都指向 YOUR_SHEET_ID。它还把 Generate Transcript 里作者的 Apify 代理组换成了 YOUR_APIFY_PROXY_GROUP。