[发明专利]数据关联查询方法和数据关联查询装置

说明书

技术领域

本发明涉及报表分析领域，具体而言，涉及数据关联查询方法和数据关联查询装置。

背景技术

在报表分析领域中，对事实表与维表进行关联后查询出结果并展现到报表当中，是非常典型的应用。以ERP(Enterprise Resource Planning，企业资源计划)软件产品和关系型数据库为例，单据表可认为是事实表，数据量通常很大；基础档案表可认为是维度表，数据量视档案类型的不同有大有小。单据表中存储有基础档案表的主键作为外键，可以用比较简单的SQL把单据表存储的业务信息(如单据号、单据日期、数量、金额等)以及相关基础档案的主键查出来，但报表中要求不能把主键展现给用户，而应展现基础档案中有业务意义的信息，如编码、名称等。

使用单据表连接基础档案表的方式，理论上可以解决这一问题，但在大数据量环境下会出现效率瓶颈。例如，在关联销售单据表和存货档案表时，两者都可能有十万行量级以上的数据，现要求从单据表取出符合特定条件的一万行数据，并带出相关联的存货名称，假如通过表连接的方式，则需要对销售单据和存货档案两张大表进行连接，再分别取出所需的字段。如图1所示，两个大数据的表连接通过SQL进行查询，得到大量的关联数据。

而在实际情况中，需要关联的远不止存货一个档案，很可能还要关联客户、部门、人员等等其它档案。对这么多大数据的表做多表联查，势必影响到系统运行的效率。除了关联的广度外，还有关联的深度带来的影响--可能用户需要在单据关联存货档案之后，还要将存货档案关联存货分类档案，以便获取存货分类的名称来显示在报表上，这同样增加了多表关联SQL的复杂度及其执行开销。

现有技术中，对事实表与维表进行关联的方案主要有以下三种：

方案一：国内ERP软件常用此方案——在数据模型设计部分，要求用户通过数据字典或元数据等方式，把最终要取数的字段全部指定完成；然后在格式设计过程中，将设计好的数据模型插入到报表当中某个区域，浏览报表时将数据模型转化为多表联查SQL，直接到数据库执行查询。另有一些支持异步报表的产品，在查询后会将查询结果物化到数据库或数据仓库。

方案二：国内报表厂商常用此方案——在报表格式设计过程中，指定各单元格或区域单元的取数公式，利用这些公式来取到所需的字段值。公式的执行根据其语法解析器的定义而定，有的公式是转化为SQL执行，有的公式可能会到缓存中加载数据。

方案三：国外BI(Business Intelligence，商业智能)厂商常用此方案--在数据模型设计部分建立语义层，语义层包括待查询的数据表及其连接关系，但不含查询字段；然后在格式设计过程中，在语义层中选择字段或字段表达式，拖入报表并最终展现。执行时根据字段描述，调用SQL及函数执行器予以执行。

上述方案一和方案三，在解决前述应用问题时，仍需以多表联查的SQL作为主要实现方案，难以解决多张维表在广度和深度关联字段过程中给系统运行效率带来的压力。方案二虽然考虑到了采用SQL+缓存公式联合作战的方式，但由于单元公式的方案难以满足数据层的建模需求，因此给用户在数据模型复用性和操作交互技术方面都带来不便和困扰。此外，上述方案对于关联字段的自由扩展性也存在约束，也有相关方案虽然考虑到了可关联的扩展字段的查询，但最终仍局限于通过SQL来查询原始数据+扩展数据的方案，没有解决大数据联查引起的性能问题。

因此，为了解决以上技术问题，需要一种数据关联查询技术，能够高效关联事实表和维度表并快速查询出所需数据，在提高查询效率的同时能不影响系统的运行效率。

发明内容

基于上述背景技术的考虑，本发明所要解决的一个技术问题是提供一种数据关联查询装置，本发明所要解决的又一个技术问题是提供一种数据关联查询方法，避免大数据量的两个数据表在关联查询时给系统带来的压力，并且可保证关联字段的可扩展性和查询的可复用性。