首页 / 项目 / 淘宝直播采集器

淘宝直播采集器 · 把直播数据变成可分析的资产

无侵入采集淘宝直播的在线人数、弹幕与粉丝画像,落盘入库后用看板做多维分析,双端 7×24 自愈运行。

背景

直播运营需要回答:哪些店铺在播、每场多少人看、观众在弹幕里问什么、哪些人反复下单。这些数据散落在直播间页面里,人工盯不过来,也没有现成接口。目标是搭一条自动化流水线,从发现直播间到采集、入库、分析全程无人值守。

我做了什么

用 WebView2 / Playwright 被动拦截淘宝 mtop 接口(含 JSONP 脚本注入的弹幕接口),自动发现关注店铺并错峰开播监控;采集数据落盘为 JSONL,ASP.NET Core + SQLite 做 15 秒增量导入,ECharts 深色看板提供 12 个分析页面,并配看门狗实现双端自愈常驻。

淘宝直播页面与弹幕
13万+累计采集消息
11,529用户画像
218直播间
7×24自愈常驻

核心能力

🔍

店铺发现 + 自动监控

被动监听关注列表,检测开播后错峰自动打开直播间,下播防抖、token 过期软恢复,单房间 3 秒轮询。

💬

弹幕与画像采集

突破 JSONP 脚本注入式接口拦截,多房间混采,解析粉丝等级、勋章、尺码、购买序号等字段,按 ID 去重。

📊

多维分析看板

数据总览、店铺对比、用户画像、行为热力图、购买序号工作台、AI 智能分析等 12 个页面,全局日期过滤。

🛡️

自愈与运维

计划任务 + 看门狗双层保活,内存阈值自动回收单标签重建,停更空窗从 30 分钟压到约 2 分钟。

看板展示

淘宝直播数据看板
数据总览 · 用户 / 消息 / 店铺 / 直播间 KPI 与趋势图

关键问题与解法

⚠ 难点

  • 弹幕接口走 JSONP 动态 script 注入,常规 XHR 拦截抓不到
  • 接口签名、token 过期与风控导致采集中断
  • 采集器独占写文件,看板读取冲突
  • 长时间运行内存膨胀(曾达 10.5GB 导致 DWM 崩溃)

✓ 解法

  • 拦截 script src setter + setAttribute,旁路 fetch 拿响应体
  • 逆向 mtop 签名,feed 空响应自动软恢复,no-token 快速重连
  • JSONL 落盘 + FileShare.ReadWrite 共享读,15 秒增量导入
  • 1,200MB 阈值单标签重建,系统 commit 稳定在 4–5GB 自循环

技术栈

C# / .NET 8Avalonia 11WebView2PlaywrightAPI 拦截 / JSONPmtop 签名ASP.NET CoreSQLite / InfluxDBEChartsLMStudio 本地 AI

结果

累计采集 13 万+ 条弹幕、11,529 个用户画像、218 个直播间;单直播间峰值在线 19 万人;双端 7×24 自愈常驻,日均稳定入库 1,000–1,800 条消息。整套工具链从采集到分析完全自动化。

有类似采集需求?聊聊 →