[发明专利]数据驱动型应用的数据模型、数据建模系统和方法

说明书

本发明提供了一种数据驱动型应用的数据模型、数据建模系统和方法，涉及数据科学技术领域，能够提高增强数据驱动型应用的可复用性，提高其稳定性。其中该系统包括：数据导入模块，用于导入外部的数据源、数据集和数据字典；数据表示推理模块，用于采用语义网络技术，描述和定义数据源和数据集，表达业务逻辑知识和业务数据知识，从中抽象出跨领域通用的关系和知识，并进行关系推导和知识发现以挖掘隐含的关系和知识。上述系统应用于数据驱动型应用的开发过程中。

技术领域

本发明涉及数据科学技术领域，尤其涉及一种数据驱动型应用的数据模型、数据建模系统和方法。

背景技术

数据科学方法，诸如数据分析、机器学习和深度学习等技术已被广泛用于垂直行业领域，以构造以其业务目标为导向的数据驱动型应用。在垂直行业领域开发数据驱动型应用时，需要对数据驱动型应用进行数据建模。目前现有的数据驱动型应用的数据建模的解决方案主要有如下三种：

一、在平台层封装几个相对比较通用的算法模型。这种方式其实并没有对数据进行任何封装和管理，基本上只是对机器学习算法的输入数据给出定义，要求使用人员按照定义提供数据。

二、提供一个数据治理平台，主要是管理数据的质量、来源和生命周期，其本身和数据驱动型应用是分离的。

三、完全依靠数据分析人员或数据科学家去了解业务逻辑和业务数据，提供一个简单的数据预处理层来进行数据加工。数据探索和模型选择过程中积累的部分知识只能以规则的形式沉淀。

以上三种方式对数据定义和数据描述都是以关系模型建模，并存储在关系数据库或者配置文件中，这导致如下问题：

(1)无法规范的表示与理解行业数据密切相关的概念、术语和实体关系，从而无法积累行业知识，进而无法推导隐含的数据知识。在无行业知识和数据知识的积累及扩展的支持下，也就无法实现模型经验的可复用性。也就是说，现有方案所搭建的数据模型仅能用于当前这一个数据驱动型应用，很难复用到其他应用。这造成现有方案对数据驱动型应用的开发效率低下，开发成本升高。

(2)现有方案对数据定义和数据描述以关系数据库来存储，这会造成模式固定，一旦增加或改变实体或关系，将导致整个数据库模式发生变化，不利于整个数据驱动型应用的稳定性和可维护性。

发明内容

针对上述现有技术中的问题，本发明实施例提供一种数据驱动型应用的数据模型、数据建模系统和方法，通过采用语义网络标准协议语言描述和定义行业概念、术语和实体关系，以增强数据驱动型应用的可复用性，提高其稳定性。

为达到上述目的，本发明实施例采用如下技术方案：

第一方面，本发明实施例提供了一种数据驱动型应用的数据模型，包括：数据表示层，用于描述和定义数据源、数据集和数据字典，表达业务逻辑知识和业务数据知识；概念抽象层，用于维护从所述业务逻辑知识和所述业务数据知识抽象到跨领域通用的知识和关系。

上述数据驱动型应用的数据模型，通过数据表示层来表达业务逻辑知识和业务数据知识，然后从数据表示层抽象出概念抽象层，抽象出的数据为跨领域通用的知识和关系，从而使得上述数据模型具备可复用性，能够应用于不同领域的数据驱动型应用，进而提高了数据驱动型应用的开发效率，降低了开发成本。

第二方面，本发明实施例提供了一种数据驱动型应用的数据建模系统，该数据建模系统包括：数据导入模块，用于导入外部的数据源、数据集和数据字典；数据表示推理模块，用于采用语义网络技术，描述和定义所述数据源和所述数据集，表达业务逻辑知识和业务数据知识，从中抽象出跨领域通用的关系和知识，并进行关系推导和知识发现以挖掘隐含的关系和知识。