[发明专利]一种网络数据获取设备、方法及获取过程的实现方法

权利要求书

1.一种网络数据获取设备，包括：

第一阻塞队列和第二阻塞队列，所述第一阻塞队列设置在爬取器和解析器之间，用于放置爬取器对目标资源的全局位置进行爬取得到的入口统一资源定位符；所述第二阻塞队列设置在解析器和输出器之间，用于放置解析器根据目标资源的入口统一资源定位符和页面模板对目标资源进行解析得到的目标网络数据；

爬取器，用于对位于网络侧的目标资源的全局位置进行爬取，以得到入口统一资源定位符，并将所述入口统一资源定位符放置于所述第一阻塞队列；所述全局位置用于指明目标资源所在载体的基本单位的位置；

解析器，用于根据从所述第一阻塞队列中读取得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据，并将所述目标网络数据放置于第二阻塞队列；所述解析器具体用于：由目标资源所在页面的页面模板确定目标资源相对于所述全局位置的相对位置，所述相对位置用于指明目标资源在所述基本单位的位置之下的位置，所述相对位置为所述目标资源在入口统一资源定位符所确定的页面中的位置；对根据所述全局位置和相对位置确定的目标资源按照预设条件进行解析，以得到目标网络数据；以及，

输出器，用于从所述第二阻塞队列中读取所述目标网络数据进行输出。

2.根据权利要求1所述的设备，其中，所述爬取器、解析器、输出器同时启动，所述爬取器、解析器、输出器具备同时执行多个子任务的能力。

3.根据权利要求2所述的设备，其中，所述爬取器、解析器、输出器各自具有多个子任务，

所述爬取器，还用于在其所有子任务执行结束后，在第一阻塞队列设置和所述解析器子任务数相同数量的第一结束标签，以便解析器的每一个子任务读取到第一阻塞队列中的一个结束标签后，结束相应子任务；

所述解析器，还用于在其所有子任务执行结束后，在第二阻塞队列设置和所述输出器子任务数相同数量的第二结束标签，以便输出器的每一个子任务读取到第二阻塞队列中的一个结束标签后，结束相应子任务。

4.根据权利要求1至3中任何一项所述的设备，还包括监控器，用于对网络数据获取异常进行监控，根据监控结果生成报警信息，并向预设用户发送报警信息，所述网络数据获取异常至少包括目标资源所在页面的DOM结构发生变化导致的异常。

5.根据权利要求1至3中任何一项所述的设备，还包括连接在解析器与输出器之间的预处理器，用于对解析器解析得到的目标网络数据进行预处理。

6.根据权利要求5所述的设备，还包括缓存器，用于在爬取器爬取目标资源的全局位置后对目标资源所在的页面进行缓存。

7.一种网络数据获取方法，包括：

爬取器对位于网络侧的目标资源的全局位置进行爬取，以得到入口统一资源定位符，并将所述入口统一资源定位符放置于第一阻塞队列；所述第一阻塞队列设置在所述爬取器和解析器之间，所述全局位置用于指明目标资源所在载体的基本单位的位置；

解析器根据从所述第一阻塞队列中读取得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据，并将所述目标网络数据放置于第二阻塞队列；所述第二阻塞队列设置在所述解析器和输出器之间；所述根据从所述第一阻塞队列中读取得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据包括：由目标资源所在页面的页面模板确定目标资源相对于所述全局位置的相对位置，所述相对位置用于指明目标资源在所述基本单位的位置之下的位置，所述相对位置为所述目标资源在入口统一资源定位符所确定的页面中的位置；对根据所述全局位置和相对位置确定的目标资源按照预设条件进行解析，以得到目标网络数据；

输出器从所述第二阻塞队列中读取所述目标网络数据进行输出。

8.根据权利要求7所述的方法，其中，对目标资源的全局位置进行爬取的步骤、对目标资源进行解析的步骤以及对目标数据进行输出的步骤同时启动，且所述步骤能够通过同时执行多个子任务实现。

9.根据权利要求7所述的方法，其中，所述预设条件包括用于从目标资源所在的页面开始筛选直至定位到所述目标资源的预设筛选条件，和/或，用于对解析目标资源进行启动或停止控制的预设控制条件；

对目标资源按照预设条件进行解析以得到目标网络数据具体为对目标资源按照所述预设筛选条件和预设控制条件进行解析以得到目标网络数据。