[发明专利]数据抽取方法及装置

说明书

本发明实施例提供一种数据抽取方法及装置。该方法包括：数据抽取插件从数据总线获取数据抽取任务，所述数据总线连接有多个数据抽取插件，每个数据抽取插件用于抽取不同种类的数据；数据抽取插件根据所述数据抽取任务抽取数据；并将其抽取到的数据发送给所述数据总线。本发明实施例基于数据抽取插件的数据抽取子系统，将散步在各个爬虫系统的中的抽取子模块插件化，解除与原系统的紧耦合，因此可以方便的对数据抽取模块进行复用；同时，将抽取模块以插件的方式集中管理，能更好的调配机器物理资源，提高物理资源的利用率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据抽取方法及装置。

背景技术

大数据时代，数据的生产达到了空前的速度，数据的来源、种类、组织形式也越来越广泛，这给数据采集系统(爬虫)，提出了更高的要求。数据抽取是爬虫系统的重要步骤，其主要作用是从各种各样的原始的格式化或者非格式化数据，例如网页、JavaScript对象表示法(JavaScript Object Notation，简称JSON)、可扩展标记语言(Extensible MarkupLanguage，简称XML)等，抽取出指定内容并将其组织成一定格式以便其它系统使用。在爬虫系统中，爬取到的原始数据是多种多样的，常见的比如超文本标记语言(Hyper TextMarkup Language，简称HTML)、JSON等，针对不同的数据类型通常需要采用不同的抽取方法，即使对同一种数据类型通常抽取方法也是不一样的。比如，从HTML网页中抽取正文，不同的网站的HTML结构是不一样的，那么就需要在抽取时针对不同的HTML结构使用不同的抽取规则。

在实践中，数据抽取通常有基于模板的抽取、不基于模板的自动抽取以及定制化抽取等几种方式。基于模板的抽取是针对不同数据格式以及数据结构编写不同的抽取模板，数据抽取中通过使用模板中指定的抽取信息，对原始数据进行抽取；不基于模板的抽取是利用机器学习等方法自动训练抽取模型，针对不同的原始数据，其能自动定位需要抽取内容；定制化抽取主要是针对某一中特定的格式，在程序内部编写固定的抽取方法。

一般的爬虫系统为了性能考虑，数据抽取步骤通常在一个单独数据抽取模块中实现。而在一个数据采集项目中，通常都需要多个爬虫子系统，才能完成数据采集的需求，比如新闻定向爬虫子系统，电子公告牌系统(Bulletin Board System，简称BBS)定向采集子系统以及非定向网页采集系统等。多套采集爬虫子系统也就意味着有多套数据抽取子模块，而这些子模块系统通常会占用不同的机器物理资源，如果某个子系统负载比较小，那么就会导致其占用的资源不能被有效的利用，而且抽取子系与系统中其它模块通常是紧耦合的，不能有效实现子模块的复用。

发明内容

本发明实施例提供一种数据抽取方法及装置，以提高爬虫系统的资源利用率，有效实现子模块的复用。

本发明实施例的一个方面是提供一种数据抽取方法，包括：

数据抽取插件从数据总线获取数据抽取任务，所述数据总线连接有多个数据抽取插件，每个数据抽取插件用于抽取不同种类的数据；

所述数据抽取插件根据所述数据抽取任务抽取数据；

所述数据抽取插件将其抽取到的数据发送给所述数据总线。

本发明实施例的另一个方面是提供一种数据抽取装置，包括：

获取模块，用于从数据总线获取数据抽取任务，所述数据总线连接有多个数据抽取插件，每个数据抽取插件用于抽取不同种类的数据；

抽取模块，用于根据所述数据抽取任务抽取数据；

发送模块，用于将其抽取到的数据发送给所述数据总线。