[发明专利]一种数据的查询方法和装置

说明书

技术领域

本发明涉及海量数据处理技术领域，特别涉及一种数据的查询方法和装置。

背景技术

随着数据业务的发展，同一个业务中，一般既有结构化数据，也有非结构化数据，有时候两种类型的数据还会有某种对应关系，需要关联处理。其中，结构化数据是指行数据，存储在数据库里，可以用二维表结构来逻辑表达的数据，而难以用数据库二维逻辑表来表现的数据即称为非结构化数据，非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

在现有技术的数据处理中，对于结构化数据可直接采用关系型数据库存储，并在关系型数据库中实现对结构化数据的查询、过滤或计算；对于非结构化数据，采用MapReduce进行批量处理，包括对非结构化数据的查询、过滤或计算。现有技术中，对结构化数据和非结构化数据的处理是分开进行的，即结构化数据内部关联查询，非结构化数据内部关联查询，不能支持结构化数据与非结构化数据之间关联查询，所以如何实现结构化数据和非结构化数据的关联查询是需要解决的问题。

发明内容

为了解决现有技术中结构化数据和非结构化数据不能自动关联查询的问题，本发明实施例中提供了一种数据的查询方法和装置，所述技术方案如下：

在一方面，提供了一种数据的查询方法，用于对结构化数据和非结构化数据进行关联查询，所述方法包括：

获取关联查询请求，并将所述关联查询请求分解为多个子查询请求；

当所述多个子查询请求中包括对非结构化数据组件的查询请求时，调用所述非结构化数据组件对应的解析方式，对所述非结构化数据组件进行解析，得到有模式的数据；

将所述有模式的数据与结构化数据进行关联查询，得到所述关联查询的结果集。

在另一方面，提供了一种数据的查询装置，用于对结构化数据和非结构化数据进行关联查询，所述装置包括：

任务分解模块，用于获取关联查询请求，并将所述关联查询请求分解为多个子查询请求；

非结构化数据解析模块，用于当所述多个子查询请求中包括对非结构化数据组件的查询请求时，调用所述非结构化数据组件对应的解析方式，对所述非结构化数据组件进行解析，得到有模式的数据；

关联查询模块，用于将所述有模式的数据与结构化数据进行关联查询，得到所述关联查询的结果集。

本发明实施例提供的技术方案带来的有益效果是：

获取关联查询请求，并将所述关联查询请求分解为多个子查询请求；当所述多个子查询请求中包括对非结构化数据组件的查询请求时，调用所述非结构化数据组件对应的解析方式，对所述非结构化数据组件进行解析，得到有模式的数据；将所述有模式的数据与结构化数据进行关联查询，得到所述关联查询的结果集。通过对非结构化数据的独立解析处理，得到有模式的数据，其中不需要人为介入，可以自动对非结构化数据进行解析，实现了非结构化数据与结构化数据的关联查询。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1是本发明实施例一中提供的一种数据的查询方法的流程图；

图2是本发明实施例二中提供的一种数据的查询方法的流程图；

图3是本发明实施例二中提供的初始化后的平台示意图；

图4是本发明实施例三中提供的一种数据的查询装置的示意图；

图5是本发明实施例三中提供的另一种数据的查询装置的示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

本实施例中涉及到的数据模式是对数据的一种明确描述方式，数据库存放数据的模式，正因为有数据模式，才能构造复杂的数据结构来建立数据之间的内在联系与复杂关系，从而构成数据的全局结构模式。数据模式是基于选定的数据模型对数据进行“型”方面的刻画，而相应的“实例”则是对数据“值”方面的描述。先有数据模型，才能据其讨论相应数据模式，有了数据模式，就能依据该模式得到相应的实例。通常数据有明确的字段，类型就是有数据模式，称为结构化数据，否则是无模式，为非结构化数据，类似图片，视频，音频文件等。

本实施例中涉及到的关联查询不仅仅是关系型数据库中两个二维表的join操作，而是指结构化与非结构化两种类型的数据之间有join操作，union操作，级联操作等，结构化与非结构化作为平等的数据对象，将对两种数据对象的操作融合到统一的操作中。