[发明专利]离散数据模型方法与系统

说明书

本发明公开了一种离散数据模型方法与系统，属于数据建模技术领域。所述方法包括：根据分析主题需要，面向离散数据集确定拓扑节点及其拓扑结构，建立数据模型的拓扑；建立每个拓扑节点内部的数据模型集合和数据模型集合关联关系。所述系统包括第一模块、第二模块和第三模块。本发明提供的离散数据模型方法与系统，解决了现有数据建模技术手段无法解决离散式数据分析场景下的数据建模问题，为企业或业务部门解决因自身数据资源匮乏、信息不对称而导致的竞争力不足的问题提供了有效的解决方案，从而可有效提升产业链效率，为用户提供精准服务。

技术领域

本发明涉及数据建模技术领域，特别涉及一种面向离散数据集的全局数据模型方法与系统。

背景技术

在大数据时代，数据呈“离散态”方式分布，每个“离散点”对应于一个确定的数据孤岛，如图1所示。现实中每个数据孤岛可以理解为一个属主(如一个企业或者一个部门等)下辖的私有数据资源与计算资源集合。在本发明中，将服务于一个分析主题的、以“离散态”分布的数据集合，定义为离散数据集；进一步，将面向离散数据集的跨数据孤岛的联合数据分析定义为离散式数据分析。

现实中离散式数据分析具有深远的应用价值：通过离散式数据分析，企业可以基于产业链上下游或者异业合作伙伴的数据集建立协同效应，有效解决因自身数据资源匮乏、信息不对称而导致的竞争力不足的问题。举例而言，制药厂可以以某种形式建立跨医院、跨保险公司等产业链环节数据协同效应(即跨数据孤岛的联合数据分析)，从而极大地提升整个产业链效率，减少无效浪费，为用户提供精准服务。

数据分析过程通常需要先根据分析主题的需要建立数据模型，然后再根据数据模型建立计算模型，进而完成后续分析计算过程的执行。然而，相比于“非离散态”数据集，“离散态”数据集的数据分析计算过程具有以下显著不同：

1)跨域关联性分析

“域”这里具体指的是数据孤岛的边界，一般以企业边界、部门边界或者网络边界体现，在一个域内数据的安全约束相同。“离散态”数据集之间的关联性分析，相比于通常具有统一数据安全约束的“非离散态”数据集，通常需要跨域完成。而完成离散态数据集跨域关联性分析，则需要克服跨域异构数据关联性表达、跨域计算任务调度、跨域数据安全传输等技术障碍。

2)计算过程中异构数据模型动态拓展与伸缩性

“非离散态”数据集，一般情况下，不支持计算模型运行时动态拓展数据模型(包括异构和同构数据模型)，只能够支持基于既有数据模型对数据集的拓展。而“离散态”数据集在分析过程中，需要面对动态接驳或者断开的异构数据集(具有异构数据模型)，即异构数据模型的动态拓展与伸缩性。

3)数据异地分布性

“离散态”数据集相比“非离散态”数据集一个显著区别在于离散态数据集通常分布在多个地方，即异地分布性。这就带来“离散态”数据集分析过程中无法避免的网络异构性、窄带宽下计算任务QoS、传输可靠性与安全性等技术问题。

4)数据异构性

“离散态”数据集相比“非离散态”数据集，具有更显著的异构性特征，不仅仅包含非离散态数据集的“不同语义的数据异构性”问题，比如，数据库中多张异构的数据表通过外键进行关联；更包括“相同语义的数据异构性”问题，比如具有相同语义但是编码不同的多源主数据问题(或理解为相同编码但是在不同数据源中代表不同语义)。

5)数据的多属主特性

相比具有统一所有权的“非离散态”数据集，“离散态”数据集则通常具有多属主特性，即数据集来源于多个所有者。这种特性，天生限制了数据的安全约束和所有权，其数据建模分析的操作方法和空间，相比具有统一数据所有权的“非离散态”数据集，具有显著差异。

鉴于以上技术特性的差异，导致传统的服务于数据分析的数据建模技术手段不再适用于离散式数据分析场景，亟待面向离散式数据分析的数据建模方法。