[发明专利]一种基于数据虚拟化引擎的数据模型及其构建方法

说明书

本发明公开了一种基于数据虚拟化引擎的数据模型及其构建方法，包括数据预处理模块、数据模型装配模块、数据模型执行模块和数据模型输出模块；所述数据预处理模块，用于对数据虚拟化引擎下的不同数据源表的字段进行中英文注释和表达式配置，配置后生成一个数据表对象；所述数据模型装配模块包括运算组件，通过运算组件连接一个或者多个数据表，使其装配成数据模型。本发明中，本发明基于数据虚拟化引擎使用数据表对象和运算组件构建数据模型，实现跨不同数据源的直接查询，不需要搭建数据中台或中间汇聚平台，也不需要编写SQL语句实现数据模型的构建，且模型执行的结果和数据血缘进行前端输出并显示，以便追溯数据流向。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于数据虚拟化引擎的数据模型及其构建方法。

背景技术

随着科学技术的迅速发展，大数据的应用越来越广，数据处理和数据模型的创建需求量越来越多，在通过各种大数据平台和工具来对数据进行建模分析时，往往需要先进行数据汇总，把不同来源的数据清理后统一保存到某个数据中台或大数据处理系统种，然后通过写SQL语句、代码脚本或是其他方式来构建业务的数据模型。

然而，上述数据处理过程中存在以下几个弊端：

（1）上述数据处理过程中必须借助于一个具备大数据的中间平台，这就需要高性能的硬件支撑，同时，还要求用户具备大数据维护的专业能力；

（2）大多数据模型的构建都需要编写SQL语句，模型越复杂，就需要更多的SQL语句来满足业务需求，要求使用者具备SQL的读写能力；

（3）大多数据模型在通过SQL语句编写和创建后，无法一目了然的获知模型输出的数据结果的数据来源，无法追溯数据流向。

综上，虽然目前大多数据产品都具有建立数据模型和编写SQL语句的能力，但是不能很好的解决，在跨数据源情况下，不通过编写SQL语句就能创建数据模型，以及分析模型数据结果的血缘关系的问题。

发明内容

为了解决上述背景技术中所提到的技术问题，而提出的一种基于数据虚拟化引擎的数据模型及其构建方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于数据虚拟化引擎的数据模型，包括数据预处理模块、数据模型装配模块、数据模型执行模块和数据模型输出模块；

所述数据预处理模块，用于对数据虚拟化引擎下的不同数据源表的字段进行中英文注释和表达式配置，配置后生成一个数据表对象；

所述数据模型装配模块包括运算组件，所述运算组件包括连接组件、字段设置组件、交集组件、并集组件、差集组件、聚合组件和筛选组件，通过运算组件连接一个或者多个数据表，使其装配成数据模型；

所述数据模型执行模块包括SQL语句构造器，所述SQL语句构造器用于分析数据模型中数据表和运算组件的所有连接关系，把图形化的连接关系转换为SQL查询语句，并通过数据虚拟化引擎执行该SQL查询语句，实现不同数据来源的数据库表查询并得到数据结果；

所述数据模型输出模块包括数据结果列表输出和血缘关系输出，数据结果列表输出把数据模型运行完毕后查询的数据结果集以列表的形式进行前端输出展示，血缘关系以关系图谱的方式展示数据的流向和来源，所述血缘关系图包括依次连接的数据源节点、运算组件节点和结果节点，且每个节点的信息框显示有对应节点的信息内容，以便查看数据的生成关系。

作为上述技术方案的进一步描述：

还包括数据虚拟引擎查询器，所述数据虚拟引擎查询器是基于数据虚拟化引擎的查询功能执行需要查询的SQL语句，并分析SQL语句的血缘关系生成血缘关系图。

作为上述技术方案的进一步描述：