[发明专利]网页数据获取方法、装置、电子设备及存储介质

权利要求书

1.一种网页数据获取方法，其特征在于，应用于浏览器中的插件，包括：

当接收到服务端发送的数据获取请求时，确定与所述数据获取请求相对应的待编辑配置项；

为所述待编辑配置项配置请求参数，得到与所述数据获取请求相对应的目标操作指令集合；其中，所述请求参数为所述数据获取请求中所携带的参数；

基于所述插件运行所述目标操作指令集合中的各个操作指令，跳转至至少一个目标访问页面；

基于目标脚本爬取与所述目标访问页面相对应的待反馈数据，并将所述待反馈数据发送至所述服务端。

2.根据权利要求1所述的方法，其特征在于，还包括：

向所述服务端发送通信连接请求；

当接收到所述服务端反馈的响应信息时，与所述服务端建立基于WebSocket协议的通信通道。

3.根据权利要求1所述的方法，其特征在于，所述当接收到服务端发送的数据获取请求时，确定与所述数据获取请求相对应的待编辑配置项，包括：

当接收到所述服务端发送的数据获取请求时，提取所述数据获取请求中所携带的数据获取参数，其中，所述数据获取参数包括所述目标访问网页的地址；

根据所述数据获取参数与所述浏览器插件中配置项的对应关系，确定与所述数据获取参数相对应的待编辑配置项。

4.根据权利要求1所述的方法，其特征在于，所述为所述待编辑配置项配置请求参数，得到与所述数据获取请求相对应的目标操作指令集合，包括：

基于所述数据获取参数的字段对各待编辑配置项的字段进行赋值，得到目标操作指令集合中与各待编辑配置项相对应的目标操作指令。

5.根据权利要求1所述的方法，其特征在于，所述基于目标脚本爬取与所述目标访问页面相对应的待反馈数据，包括：

调用预先编写的基于JavaScript的目标脚本，对所述目标访问页面进行解析，得到全体数据；

基于所述目标脚本中的数据提取方法，从所述全体数据中提取出所述待反馈数据。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标脚本中的数据提取方法，从所述全体数据中提取出所述待反馈数据，包括：

根据所述数据获取脚本中的数据获取方法，确定与所述数据获取方法相对应的数据返回值，并将所述数据返回值作为所述待反馈数据；

其中，所述待反馈数据包括结构化数据和/或非结构化数据。

7.根据权利要求1-6任一所述的方法，其特征在于，所述将所述待反馈数据发送至所述服务端，包括：

通过所述目标访问页面与浏览器之间的通信管道回传所获取的数据；

基于WebSocket协议将回传的数据发送至所述服务端，并将数据存储于目标存储库中。

8.一种网页数据获取装置，其特征在于，包括：

待编辑配置项确定模块，用于当接收到服务端发送的数据获取请求时，确定与所述数据获取请求相对应的待编辑配置项；

目标操作指令集合确定模块，用于为所述待编辑配置项配置请求参数，得到与所述数据获取请求相对应的目标操作指令集合；其中，所述请求参数为所述数据获取请求中所携带的参数；

目标访问页面跳转模块，用于基于浏览器插件运行所述目标操作指令集合中的各个操作指令，跳转至至少一个目标访问页面；

待反馈数据爬取模块，用于基于目标脚本爬取与所述目标访问页面相对应的待反馈数据，并将所述待反馈数据发送至所述服务端。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的网页数据获取方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的网页数据获取方法。