[发明专利]网页数据获取方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种网页数据获取方法、装置、电子设备及存储介质，该方法包括：当接收到服务端发送的数据获取请求时，确定与所述数据获取请求相对应的待编辑配置项；为所述待编辑配置项配置请求参数，得到与所述数据获取请求相对应的目标操作指令集合；其中，所述请求参数为所述数据获取请求中所携带的参数；基于所述插件运行所述目标操作指令集合中的各个操作指令，跳转至至少一个目标访问页面；基于目标脚本爬取与所述目标访问页面相对应的待反馈数据，并将所述待反馈数据发送至所述服务端。本发明实施例的技术方案，使用户可以控制浏览器行为，并为爬虫脚本的运行创造了真实用户的浏览器环境，保证了数据爬取的成功率。

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种网页数据获取方法、装置、电子设备及存储介质。

背景技术

随着网络技术的迅速发展，互联网已经成为大量信息的重要载体，为了有效获取这些信息资源，爬虫技术应运而生。利用网络爬虫虽然可以爬取网站数据，却会消耗目标系统资源，因此，很多网站都设置了反爬机制来阻止爬虫批量获取网站信息。

现有技术中，爬取网站数据的方式通常包括以下两种。第一种方式为，利用预先编写的脚本爬取网站数据，然而，对于设置了反爬机制的网站来说，用户需要在爬取数据前花费大量精力去了解该网站的cookie和相关校验机制，同时，这种非人类操作的数据读取方式很容易被网站检测出来。第二种方式为，利用无头浏览器模拟用户真实浏览器的操作环境，再运行数据爬取脚本，对于这种方式，网站依然可以通过前端JavaScript校验出无头浏览器，进而检测出爬虫脚本。

因此，相关技术提供的方案中，用户利用脚本爬取网站数据时需要花费较多的精力，脚本很容易被检测出来，存在被网站封禁的风险。

发明内容

本发明提供一种网页数据获取方法、装置、电子设备及存储介质，使用户可以控制浏览器行为，并为爬虫脚本的运行创造了真实用户的浏览器环境，保证了数据爬取的成功率。

第一方面，本发明实施例提供了一种网页数据获取方法，应用于浏览器中的插件，该方法包括：

当接收到服务端发送的数据获取请求时，确定与所述数据获取请求相对应的待编辑配置项；

为所述待编辑配置项配置请求参数，得到与所述数据获取请求相对应的目标操作指令集合；其中，所述请求参数为所述数据获取请求中所携带的参数；

基于所述插件运行所述目标操作指令集合中的各个操作指令，跳转至至少一个目标访问页面；

基于目标脚本爬取与所述目标访问页面相对应的待反馈数据，并将所述待反馈数据发送至所述服务端。

第二方面，本发明实施例还提供了一种网页数据获取装置，该装置包括：

待编辑配置项确定模块，用于当接收到服务端发送的数据获取请求时，确定与所述数据获取请求相对应的待编辑配置项；

目标操作指令集合确定模块，用于为所述待编辑配置项配置请求参数，得到与所述数据获取请求相对应的目标操作指令集合；其中，所述请求参数为所述数据获取请求中所携带的参数；

目标访问页面跳转模块，用于基于浏览器插件运行所述目标操作指令集合中的各个操作指令，跳转至至少一个目标访问页面；

待反馈数据爬取模块，用于基于目标脚本爬取与所述目标访问页面相对应的待反馈数据，并将所述待反馈数据发送至所述服务端。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的网页数据获取方法。