[发明专利]数据的爬取方法及装置

说明书

本发明公开了一种数据的爬取方法及装置，涉及爬虫技术领域，提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。本发明的方法包括：当数据爬取模块获取到目标WebView对象时，创建目标WebView对象对应的动态代理，其中，数据爬取模块为在Xposed框架下创建的Xposed模块；将动态代理作为参数添加至预设脚本函数中，其中，预设脚本函数为数据爬取模块对应的执行脚本中的函数，执行脚本用于爬取目标WebView对象对应的数据内容；数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容；通过动态代理获取执行脚本爬取的数据内容。本发明适用于数据爬取客户端爬取WebView界面中的数据内容的过程中。

技术领域

本发明涉及爬虫技术领域，特别是涉及一种数据的爬取方法及装置。

背景技术

混合模式应用程序(Hybrid App)介于本地化应用程序(Native App)和Web应用程序(Web App)之间，其兼具本地化应用程序和Web应用程序的优势：拥有良好用户交互体验以及可以跨平台开发。由于，混合模式应用程序中的重要数据内容大多显示在内嵌于应用程序的WebView界面中，因此，当需要爬取混合模式应用程序中的数据内容时，首先需要爬取内嵌于应用程序的WebView界面中的数据内容。

目前，在爬取内嵌于爬取混合模式应用程序的WebView界面中的数据内容时，通常是数据爬取客户端先通过创建的Xposed模块获取WebView界面对应的WebView对象，然后，控制Xposed模块调用WebView对象执行JS脚本函数，使得WebView对象执行预设JS脚本，WebView对象在执行预设JS脚本的过程中，预设JS脚本便会爬取WebView界面中的数据内容，并将爬取到的数据内容发送至服务器。

发明人在实现本发明的过程中，发现现有技术中存在以下技术问题，由于，数据爬取客户端不能控制WebView对象执行预设JS脚本的执行状态，因此，数据爬取客户端并不能获知WebView对象执行预设JS脚本的执行进度；并且，预设JS脚本在爬取到WebView界面中的数据内容后，是直接将爬取到的数据内容发送至服务器，因此，数据爬取客户端无法获取预设JS脚本爬取到的数据内容，从而数据爬取客户端无法确定预设JS脚本是否成功爬取到WebView界面中的数据内容，进而导致无法保证数据爬取客户端爬取WebView界面中的数据内容的成功率。

发明内容

有鉴于此，本发明提供的数据的爬取方法及装置，主要目的在于提高数据爬取客户端爬取WebView界面中的数据内容的成功率。

为了达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种数据的爬取方法，该方法包括：

当数据爬取模块获取到目标WebView对象时，创建所述目标WebView对象对应的动态代理，其中，所述数据爬取模块为在Xposed框架下创建的Xposed模块；

将所述动态代理作为参数添加至预设脚本函数中，其中，所述预设脚本函数为所述数据爬取模块对应的执行脚本中的函数，所述执行脚本用于爬取所述目标WebView对象对应的数据内容；

所述数据爬取模块通过调用所述预设脚本函数，指示所述执行脚本爬取所述目标WebView对象对应的数据内容；

通过所述动态代理获取所述执行脚本爬取的数据内容。

可选的，所述创建所述目标WebView对象对应的动态代理，包括：

根据Java反射机制查找所述目标WebView对象对应的回调接口类，所述回调接口类为目标应用程序运行环境下的回调接口类；

创建所述目标WebView对象对应的回调函数；

通过所述回调接口类对所述回调函数进行封装处理，得到所述动态代理。