[发明专利]一种网络数据获取设备、方法及获取过程的实现方法

说明书

技术领域

本发明的实施方式涉及信息处理技术领域，尤其涉及一种网络数据获取设备、网络数据获取方法以及实现网络数据获取过程的方法。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

基于网络信息的海量特性，为了获取需要的网络数据，通常需要利用专用设备从大量网页中进行网络数据收集。比如，常见的爬虫程序，它能够根据需要从网络侧中获取到一定程度上满足需要的各种网络数据。但是，发明人发现，现有的网络数据获取设备采集到的信息不仅包含用户需要的信息，而且还大量夹杂着对于用户而言无用的网络数据，从而降低了信息获取的准确度和效率。

发明内容

一方面，基于解决上述问题的需要，本发明提供了一种网络数据获取设备，其中，该设备可以包括：

爬取器，用于对位于网络侧的目标资源的全局位置进行爬取，以得到入口统一资源定位符；

解析器，用于根据得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据；以及，

输出器，用于对解析目标资源得到的目标网络数据进行输出。

根据本发明的一个实施例，所述爬取器、解析器、输出器同时启动，所述爬取器、解析器、输出器具备同时执行多个子任务的能力。

根据本发明的一个实施例，所述设备还可以包括第一阻塞队列和第二阻塞队列，其中，

所述爬取器将对目标资源的全局位置进行爬取得到的入口统一资源定位符放置于所述第一阻塞队列，以便所述解析器从所述第一阻塞队列中读取所述入口统一资源定位符进行解析；

所述解析器将根据所述入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析而得到的目标网络数据放置于所述第二阻塞队列，以便所述输出器从所述第二阻塞队列中读取所述目标网络数据进行输出。

根据本发明的一个实施例，所述爬取器、解析器、输出器各自具有多个子任务，

所述爬取器，还用于在其所有子任务执行结束后，在第一阻塞队列设置和所述解析器子任务数相同数量的第一结束标签，以便解析器的每一个子任务读取到第一阻塞队列中的一个结束标签后，结束相应子任务；

所述解析器，还用于在其所有子任务执行结束后，在第二阻塞队列设置和所述输出器子任务数相同数量的第二结束标签，以便输出器的每一个子任务读取到第二阻塞队列中的一个结束标签后，结束相应子任务。

根据本发明的一个实施例，所述设备还可以包括监控器，用于对网络数据获取异常进行监控，根据监控结果生成报警信息，并向预设用户发送报警信息，所述网络数据获取异常至少包括目标资源所在页面的DOM结构发生变化导致的异常。

根据本发明的一个实施例，所述设备还可以包括连接在解析器与输出器之间的预处理器，用于对解析器解析得到的目标网络数据进行预处理。

根据本发明的一个实施例，所述设备还可以包括缓存器，用于在爬取器爬取目标资源的全局位置后对目标资源所在的页面进行缓存。

另一方面，本发明还提供了一种网络数据获取方法，包括：

对位于网络侧的目标资源的全局位置进行爬取，以得到入口统一资源定位符；

根据得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据；

对解析目标资源得到的目标网络数据进行输出。

根据本发明的一个实施例，对目标资源的全局位置进行爬取的步骤、对目标资源进行解析的步骤以及对目标数据进行输出的步骤同时启动，且所述步骤能够通过同时执行多个子任务实现。

根据本发明的一个实施例，根据得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据包括：

由目标资源所在页面的页面模板确定目标资源相对于所述全局位置的相对位置；

对根据所述全局位置和相对位置确定的目标资源按照预设条件进行解析，以得到目标网络数据。

根据本发明的一个实施例，所述预设条件包括用于从目标资源所在的页面开始筛选直至定位到所述目标资源的预设筛选条件，和/或，用于对解析目标资源进行启动或停止控制的预设控制条件；

对目标资源按照预设条件进行解析以得到目标网络数据具体为对目标资源按照所述预设筛选条件和预设控制条件进行解析以得到目标网络数据。

根据本发明的一个实施例，所述目标资源具有至少一个属性；