抖音web搜索RPC案例

2022年6月1日 1条评论 1.36k次阅读 0人点赞 Lx

以头条系某短视频（抖音）web页面搜索为例，通过RPC的逻辑实现数据采集。

目前方案通用于头条系web页面。因为其当前产品大都基于XMLHttpRequest的send方法做一些校验，我们可以自启一个浏览器去完成XMLHttpRequest请求，直接获取返回的responseText。

话虽如此，此方案仅是为了供大家学习，并不代表是最优选择，主要是给大家提供一种思路和方法。

代码逻辑很简单，有不懂的问题可留言。

调试分析

因受版权影响，我会避开关键词。

先找一下其发送逻辑，堆栈第一个点进去。
在这里插入图片描述

断点后调试，可看到t即是XMLHttpRequest。

在这里插入图片描述

查看t对象。

在这里插入图片描述

在浏览器中调试。

在这里插入图片描述

查看响应。当前已经返回了responseText和带了签名的responseURL。

在这里插入图片描述

【温馨提示：此处隐藏内容需要付费订阅后才能查看！】

在这里插入图片描述

开无头模式的话，可以使用 undetecte_chromedriver

要发表评论，您必须先登录。