[发明专利]一种基于数据虚拟化引擎的数据模型及其构建方法

权利要求书

1.一种基于数据虚拟化引擎的数据模型系统，其特征在于，包括数据预处理模块、数据模型装配模块、数据模型执行模块、数据模型输出模块、数据虚拟引擎查询器和业务数据库，所述数据虚拟引擎查询器是基于数据虚拟化引擎的查询功能执行需要查询的SQL语句，并分析SQL语句的血缘关系生成血缘关系图，业务数据库，用于保存数据模型执行的数据结果和血缘关系图，并将它们存储在业务数据库中；

所述数据预处理模块，用于对数据虚拟化引擎下的不同数据源表的字段进行中英文注释和表达式配置，配置后生成一个数据表对象；

所述数据模型装配模块包括运算组件，所述运算组件包括连接组件、字段设置组件、交集组件、并集组件、差集组件、聚合组件和筛选组件，通过运算组件连接一个或者多个数据表，使其装配成数据模型；

所述数据模型执行模块包括SQL语句构造器，所述SQL语句构造器用于分析数据模型中数据表和运算组件的所有连接关系，把图形化的连接关系转换为SQL查询语句，并通过数据虚拟化引擎执行该SQL查询语句，实现不同数据来源的数据库表查询并得到数据结果；

所述数据模型输出模块包括数据结果列表输出和血缘关系输出，数据结果列表输出把数据模型运行完毕后查询的数据结果集以列表的形式进行前端输出展示，血缘关系以关系图谱的方式展示数据的流向和来源，所述血缘关系图包括依次连接的数据源节点、运算组件节点和结果节点，且每个节点的信息框显示有对应节点的信息内容，以便查看数据的生成关系。

2.根据权利要求1所述的一种基于数据虚拟化引擎的数据模型系统，其特征在于，还包括数据存储器，所述数据存储器是用来保存数据模型的数据表、运算组件和连接关系，以及保存数据模型执行的数据结果和血缘关系图，并将它们存储在业务数据库中。

3.根据权利要求1所述的一种基于数据虚拟化引擎的数据模型系统，其特征在于，所述连接组件和字段设置组件均用于连接两个数据表或运算组件，且字段设置组件用于配置数据表对象过滤或者注释字段，所述交集组件、并集组件和差集组件是以连接的数据表的所有字段做整体的数据比对输出，所述聚合组件用来进行分组排列输出，所述筛选组件用来配置连接的数据表对象需要过滤的字段条件。

4.一种基于数据虚拟化引擎的数据模型构建方法，其特征在于，包括以下步骤：

S1、数据源表选择：选择数据虚拟化引擎包含的某个数据库中的一个数据表作为一个数据对象，数据对象用来与其他的数据表进行运算处理；

S2、数据预处理：S21、设置字段注释：对数据表中的字段添加中文或者英文注释；

S22、设置字段表达式：通过表达式配置进行字段的函数转换，包括数字转换字符串、时间格式转换，以及对敏感字段进行局部或者全局脱敏设置；

S3、数据模型装配：S31、建立数据模型：设置模型的名称、标签和执行模式，执行模式分为离线任务和实时任务：

S32、推拽数据表对象：模型建立完成后，进入到数据模型的编辑页面，将已经配置好的数据表对象拖拽到编辑页面进行模型的业务配置；

S33、配置数据处理组件：通过运算组件进行数据表对象的处理，实现数据表对象的交并差关联、聚合排序、字段和行数筛选功能，构建零语句的数据模型；

S4、执行模型：先通过SQL语句构造器，把图形化的模型连接关系转换为数据库的SQL查询语句，再通过数据虚拟化引擎查询器执行该SQL查询语句，实现跨不同来源的数据库表查询，并得到数据结果以及生成数据的血缘关系图，最后将数据结果和血缘关系图通过数据存储器存储在业务数据库中；

S5、数据输出：S51、在预览数据结果时取其前n条数据进行展示；

S52、数据以血缘关系图的方式进行展示，以便追溯数据流向。