[发明专利]一种网络数据获取设备、方法及获取过程的实现方法

摘要

本发明的实施方式提供了一种网络数据获取设备与方法，以及实现网络数据获取过程的方法。所述获取设备可以包括爬取器，用于对位于网络侧的目标资源的全局位置进行爬取，以得到入口统一资源定位符；解析器，用于根据得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据；以及，输出器，用于对解析目标资源得到的目标网络数据进行输出。本发明可以实现网络数据的定向爬取、精确解析、智能输出。

主权项

一种网络数据获取设备，包括：第一阻塞队列和第二阻塞队列，所述第一阻塞队列设置在爬取器和解析器之间，用于放置爬取器对目标资源的全局位置进行爬取得到的入口统一资源定位符；所述第二阻塞队列设置在解析器和输出器之间，用于放置解析器根据目标资源的入口统一资源定位符和页面模板对目标资源进行解析得到的目标网络数据；爬取器，用于对位于网络侧的目标资源的全局位置进行爬取，以得到入口统一资源定位符，并将所述入口统一资源定位符放置于所述第一阻塞队列；所述全局位置用于指明目标资源所在载体的基本单位的位置；解析器，用于根据从所述第一阻塞队列中读取得到的入口统一资源定位符和目标资源所在页面的页面模板对目标资源进行解析，以得到目标网络数据，并将所述目标网络数据放置于第二阻塞队列；所述解析器具体用于：由目标资源所在页面的页面模板确定目标资源相对于所述全局位置的相对位置，所述相对位置用于指明目标资源在所述基本单位的位置之下的位置，所述相对位置为所述目标资源在入口统一资源定位符所确定的页面中的位置；对根据所述全局位置和相对位置确定的目标资源按照预设条件进行解析，以得到目标网络数据；以及，输出器，用于从所述第二阻塞队列中读取所述目标网络数据进行输出。