背景
直播运营需要回答:哪些店铺在播、每场多少人看、观众在弹幕里问什么、哪些人反复下单。这些数据散落在直播间页面里,人工盯不过来,也没有现成接口。目标是搭一条自动化流水线,从发现直播间到采集、入库、分析全程无人值守。
我做了什么
用 WebView2 / Playwright 被动拦截淘宝 mtop 接口(含 JSONP 脚本注入的弹幕接口),自动发现关注店铺并错峰开播监控;采集数据落盘为 JSONL,ASP.NET Core + SQLite 做 15 秒增量导入,ECharts 深色看板提供 12 个分析页面,并配看门狗实现双端自愈常驻。

13万+累计采集消息
11,529用户画像
218直播间
7×24自愈常驻
核心能力
🔍
店铺发现 + 自动监控
被动监听关注列表,检测开播后错峰自动打开直播间,下播防抖、token 过期软恢复,单房间 3 秒轮询。
💬
弹幕与画像采集
突破 JSONP 脚本注入式接口拦截,多房间混采,解析粉丝等级、勋章、尺码、购买序号等字段,按 ID 去重。
📊
多维分析看板
数据总览、店铺对比、用户画像、行为热力图、购买序号工作台、AI 智能分析等 12 个页面,全局日期过滤。
🛡️
自愈与运维
计划任务 + 看门狗双层保活,内存阈值自动回收单标签重建,停更空窗从 30 分钟压到约 2 分钟。
看板展示
数据总览 · 用户 / 消息 / 店铺 / 直播间 KPI 与趋势图
关键问题与解法
⚠ 难点
- 弹幕接口走 JSONP 动态 script 注入,常规 XHR 拦截抓不到
- 接口签名、token 过期与风控导致采集中断
- 采集器独占写文件,看板读取冲突
- 长时间运行内存膨胀(曾达 10.5GB 导致 DWM 崩溃)
✓ 解法
- 拦截 script src setter + setAttribute,旁路 fetch 拿响应体
- 逆向 mtop 签名,feed 空响应自动软恢复,no-token 快速重连
- JSONL 落盘 + FileShare.ReadWrite 共享读,15 秒增量导入
- 1,200MB 阈值单标签重建,系统 commit 稳定在 4–5GB 自循环
技术栈
结果
累计采集 13 万+ 条弹幕、11,529 个用户画像、218 个直播间;单直播间峰值在线 19 万人;双端 7×24 自愈常驻,日均稳定入库 1,000–1,800 条消息。整套工具链从采集到分析完全自动化。