[发明专利]数据采集方法、装置、电子设备及计算机可读存储介质

说明书

本申请提供了一种数据采集方法、装置、电子设备及计算机可读存储介质，涉及大数据技术领域。该方法包括：在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；基于网页探针类型确定与网页探针类型相对应的采集类别；在所确定的采集区域中采集与采集类别相对应的网页数据；将采集到的网页数据及所确定的采集类别上传至服务端；服务端用于基于网页数据与采集类别分析目标页面的页面性能或针对目标页面的异常访问。本申请中的采集方法使得采集的数据更加全面，便于服务端根据采集的数据对目标页面进行优化或者分析目标页面的异常访问。

技术领域

本申请涉及运维技术领域，具体而言，本申请涉及一种数据采集方法、装置、电子设备及计算机可读存储介质。

背景技术

在使用浏览器访问网页的过程中，当页面出现白屏或错误时，因为通常无法感知到这些问题的存在，所以不能及时地处理这些问题，因此通常需要对页面的数据进行采集，通过分析采集的数据以便及时处理问题；或者当对网页性能进行评判时，也需要对页面的数据进行采集。

现有技术在对页面进行数据采集时存在诸如数据采集不全面，采集数据统计复杂等问题，不方便后台进行分析。

发明内容

本申请提供了一种数据采集的方法、装置、电子设备及计算机可读存储介质，可以解决数据采集不全面的问题。技术方案如下：

第一方面，提供了一种数据采集的方法，该方法包括：

在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；

基于网页探针类型确定与网页探针类型相对应的采集类别；

在所确定的采集区域中采集与采集类别相对应的网页数据；

将采集到的网页数据及所确定的采集类别上传至服务端；服务端用于基于网页数据与采集类别分析目标页面的页面性能或针对目标页面的异常访问。

第二方面，提供了一种数据采集的装置，该装置包括：

第一确定模块，用于在访问目标页面的过程中确定网页探针类型，网页探针用于确定页面数据的采集区域；

第二确定模块，用于基于网页探针类型确定与网页探针类型相对应的采集类别；

采集模块，用于在所确定的采集区域中采集与采集类别相对应的网页数据；

上传模块，用于将采集到的网页数据及所确定的采集类别上传至服务端；服务端用于基于网页数据与采集类别分析目标页面的页面性能或针对目标页面的异常访问。

第三方面，提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如本申请的第一方面所示的数据采集的方法对应的操作。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的数据采集的方法。

本申请提供的技术方案带来的有益效果是：

本申请通过引入网页探针，使得数据采集过程不影响原业务系统，并且通过网页探针类型确定需要进行数据采集的采集类别，并在锁定采集区域进行数据采集，不仅使采集的数据更加全面，还提高了数据采集效率，并且通过将采集到的网页数据及网页数据的类型上传至服务端，便于服务端根据采集的数据对目标页面进行优化或者分析目标页面的异常访问。

附图说明