[发明专利]数据采集方法、装置、存储介质及电子设备

说明书

本申请涉及数据采集方法、装置、存储介质及电子设备，属于网页数据采集技术领域。本申请通过获取目标网页的网页结构，根据网页结构对目标网页的页面内容进行选择采集，能够准确地采集用户需要的数据，使得采集到的数据在准确性和可靠性方面能够满足用户的需求。

技术领域

本申请属于网页数据采集技术领域，具体涉及数据采集方法、装置、存储介质及电子设备。

背景技术

互联网作为人类历史最大的知识仓库，随着开放API(Application ProgrammingInterface缩写，应用程序编程接口)、SOA(Service Oriented Architecture缩写，面向服务的架构)越来越普及，越来越多的信息向我们开放，以供人们根据需求进行采集。比如，在相关技术中，可通过网络爬虫实现网页数据的自动化收集，收集时，网络爬虫一端不断解析网页，以聚合互联网上的数据，另一端则向各种各样的应用输送数据。虽然网络爬虫可以爬取大量的网页数据，但是却存在着如下问题，爬虫爬取的数据中携带有大量用户不需要的数据，导致数据的准确度和可靠性难以满足用户要求。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供数据采集方法、装置、存储介质及电子设备，以能够准确地采集用户需要的数据。

为实现以上目的，本申请采用如下技术方案：

第一方面，

本申请提供了一种数据采集方法，包括：

获取目标网页的网页结构；

根据所述网页结构，对所述目标网页的页面内容进行选择采集。

进一步地，

所述获取目标网页的网页结构，包括：

获取所述目标网页的网页源码；

对所述网页源码进行处理并得到所述网页结构。

进一步地，

所述对所述网页源码进行处理并得到所述网页结构，具体包括：

通过基于视觉的网页分割算法，将所述网页源码分割成多个视觉块；

将所述多个视觉块输入至预先训练好的机器学习模型，以使所述机器学习模型对所述多个视觉块的类型进行判断，并根据判断出的所述多个视觉块的类型输出所述网页结构。

进一步地，

所述对所述网页源码进行处理并得到所述网页结构，具体包括：

根据所述网页源码，建立所述目标网页的Dom树结构；

根据所述Dom树结构生成所述网页结构。

进一步地，

所述根据所述网页结构，对所述目标网页的页面内容进行选择采集，包括：

基于指定的标签类别，确定出所述网页结构中属于所述指定的标签类别的标签；

通过网络爬虫采集所述标签对应的页面内容。

进一步地，

所述通过网络爬虫采集所述标签对应的页面内容之前，所述方法还包括：

获取所述网页结构中指定内容的路径，检测所述路径，如果所述路径不为空，则将所述路径发送至所述网络爬虫，以使所述网络爬虫采集所述标签对应的页面内容。

进一步地，

如果所述路径为空，则在间隔指定时间后，重新获取所述路径。

进一步地，