[发明专利]一种基于数据抽取和系统建模的高效数据共享平台

说明书

本发明公开一种基于数据抽取和系统建模的高效数据共享平台，包括：数据获取系统，包括：应用系统数据接入模块、感知终端数据数据获取模块、地理信息数据获取模块、环境数据采集模块、用户数据共享模块及网页主动爬取模块；数据处理系统，包括数据处理与分布式存储模块；提交系统，用于连接数据获取系统及数据处理系统；功能系统，包括任务管理系统TMS、资源管理系统RMS、资源分发系统RDS、服务发布系统SPS、用户管理系统UMS、数据集成系统DIS以及作业管理系统JMS；支持系统，用于连接数据处理系统和功能系统；对象系统；服务系统，用于连接支持系统和对象系统。

技术领域

本发明涉及数据平台搭建技术领域，尤其涉及一种基于数据抽取和系统建模的高效数据共享平台。

背景技术

数据共享平台是建立在数据集成层次之上的系统，系统集成（Data Integration）主要是系统数据层和数据文件层的集成，解决数据互通的问题。与数据集成同属于软件集成层是应用集成，应用集成解决应用的互操作问题，是系统的应用集成和服务集成，解决沪访问的问题；而在软件集成层之下是硬件集成，主要指网络集成，使系统互连的平台。这样三层结构组成一个集成堆栈，即完成系统集成（System Integration）。根据OMG（ObjectManagement Group,对象管理组织）在MOF（Meta Object Facility，元对象设施）标准中的应用，数据分为四个层次，不同层次的数据需要不同的集成方案。随着层次提高，所需的方案适用范围也会越广，相应的集成复杂度也会提高。目前大部分方案是对模型层和信息层的的集成，未对元模型层数据进行集成，无法满足高层次的数据需要。

数据抽取（Data Extraction）是数据ETL过程的开始，由于需要统计分析的数据分散在各个业务子系统中，需要根据这些数据的结构、大小及其本身所具有的特性等内容综合考虑，选用合适的数据抽取手段提取这部分数据。目前数据抽取仅仅是简单的数据读取过程，在执行抽取前，需要操作者首先分析源数据库和目标数据库的元数据情况，了解数据库定义和转换规则，在此基础上还需要确定要抽取的数据对象和抽取手段。数据抽取可分为全量抽取和增量抽取两种，部分数据源根据实际需求必须使用增量抽取，而增量数据的判断需要根据业务系统情况实现，实现的复杂度和业务系统的设计实现有关，因此数据抽取是数据仓库建立过程中消耗大量人力和时间的过程，所面对的源数据目标可能是联机事务处理系统，外部数据源或者脱机的数据存储介质，但是实际的数据仓库实施中，数据抽取工具支持的数据类型种类有限，同时数据抽取过程中的转换和实际应用密切相关，因此大部分情况下无法使用数据抽取工具进行有效的多种类源数据的有效抽取。

因此，有必要通过新的数据抽取手段和系统建模对元模型层数据进行抽取从而建立高效的数据共享平台。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案，一种基于数据抽取和系统建模的高效数据共享平台，通过数据抽取和系统建模，实现系统内部数据中泰服务，为多个业务系统提供15000种标准数据服务，解决多个业务系统数据使用过程中数据标准不一致、重复冗余、错误等问题，确保数据使用效率和使用质量，改善供应链，特别是建筑供应链数据难以对业务产生真实价值的现状。

本发明一方面提供了一种基于数据抽取和系统建模的高效数据共享平台，包括：

数据获取系统，包括：应用系统数据接入模块、感知终端数据数据获取模块、地理信息数据获取模块、环境数据采集模块、用户数据共享模块以及网页主动爬取模块；

数据处理系统，包括：数据处理与分布式存储模块；其中数据处理与分布式存储模块基于对元数据的统一管理，将信息进行统一归档入库，完成标准化以及多源异构数据的整合；

提交系统，用于连接所述数据获取系统以及所述数据处理系统，包括元数据统一管理模块；

功能系统，包括：任务管理系统TMS、资源管理系统RMS、资源分发系统RDS、服务发布系统SPS、用户管理系统UMS、数据集成系统DIS以及作业管理系统JMS；