[发明专利]一种基于容器的大规模异构数据管理方法

说明书

本发明针对现有大规模异构数据中心管理方法存在数据管理混乱、数据不具有隔离性、安全性低等问题，提供一种基于容器的大规模异构数据管理方法，流程如下：1、数据中心管理平台下发数据采集需求给数据端；2、数据端根据数据采集需求，将数据中心需要的数据从数据源进行采集，并存储到移动介质；3、数据中心安装部署数据管理所需环境；4、数据中心管理平台将采集的数据上传到数据中心的分布式存储集群；5、用户通过数据中心管理平台启动Docker容器，挂载数据文件，返回连接参数；6、用户使用数据中心管理平台统一管理数据中心的数据。本发明可有效缓解数据采集、存储、分析等困难，显著提高数据管理中心的效率以及数据的可靠性。

技术领域

本发明属于数据中心大规模异构数据管理领域，具体涉及一种基于容器的大规模异构数据管理方法，主要针对大规模异构数据管理，提供一个大规模异构数据中心实现方案，包括数据的采集、迁移、存储、复现等。

背景技术

随着信息技术的飞速发展，应用所使用的存储数据库根据需要各不相同，所产生的数据量也在飞速增长，而许多的应用数据需要在数据中心备份，如各大政府部门、公司数据需要再备份到审计部门的数据中心以供审查等。然而由于各个部门使用的数据库不同且数据量大等特点，传统的数据中心不能提供一个高效、可靠的数据采集、迁移、重现策略，很大程度上影响了数据审计活动的效率。

目前大部分应用使用数据库存储数据，数据库的迁移和备份是非常耗时的过程，而传统的数据中心都是将被采集数据端的数据通过数据库中间文件导入到数据中心的数据库中，如需要采集oracle数据库的数据，则将被采集数据导出成oracle数据库的中间文件格式即dmp文件，然后将dmp文件迁移到数据中心，再根据一定规则将dmp文件导入到数据中心的汇总数据库中。数据导出成dmp文件和dmp文件的导入需要大量的时间消耗，并且数据中心将所有的数据导入到一个数据库中，数据之间的隔离性弱，数据迁移、备份困难，也不利于海量数据的管理。

同时，由于不同行业、公司使用的数据库类软件不同，不同数据库的数据需要导入到不同的数据库中，则需要在数据中心安装所有的数据库软件。数据中心单个机器运算性能、存储性能不能满足海量异构数据的存储需求，需要多个机器构成分布式集群。目前主流数据库的分布式实现困难，造成数据中心难以整合所有的机器资源，造成资源浪费。

上述方法不仅在数据采集、迁移、导入等步骤需要大量的时间消耗，并且每个步骤需要专业的数据库人才投入大量的时间。同时，数据的管理也面临很大困难、资源浪费严重。因此，上述方法难以大规模普及，对于目前数据中心海量的大规模异构数据管理已经完全不能满足需求。

根据调查显示，目前大部分主流数据库，数据迁移不但支持导出如dmp文件的静态文件然后导入到新数据库，而且支持数据文件的迁移，可以将源数据库的所有数据文件包括控制文件、日志信息、数据文件等都迁移到新数据库的对应位置，即可完整复现原始数据库。容器技术(Container)的出现为这种大规模异构数据中心构建和管理提供了一种新的技术方案。同时，目前在分布式系统上的容器编排技术Kubernetes已经非常成熟，得到大规模商用，具有很好的稳定性，可以很好的屏蔽不同硬件机器的差异，将不同机器组成一个大规模集群，并对于主流的分布式存储系统有良好的适用性，可以显著提供资源的利用率以及数据中心的效率。

发明内容

本发明的目的在于针对现有大规模异构数据中心进行数据管理时将各种数据端数据导入到数据中心一个库，导致数据管理混乱、数据不具有隔离性、安全性低等问题，提出了一种基于容器的大规模异构数据管理方法，有效缓解了数据采集、存储、分析等困难，显著提高数据管理中心的效率以及数据的可靠性。

本发明的技术方案包括以下步骤：

步骤1、数据中心管理平台下发数据采集需求给数据端；

步骤2、数据端根据数据采集需求，将数据中心需要的数据从数据源进行采集，并存储到移动介质；