[发明专利]一种聚合数据分析方法、装置、存储介质及电子设备

说明书

本发明公开了一种用于对聚合数据进行分析的方法及装置，所述方法包括抽取各个远端服务器的业务数据，对所述业务数据进行处理并加载到中心服务器集群的数据仓库中；根据需求在数据仓库中按字段抽取相应数据，使用分布式并行算法对抽取的相应数据进行分析处理，获得数据间的关联关系；根据所述数据间的关联关系对业务进行优化以满足需求；所述方法及装置使得各远端服务器上存储的不同存储结构和逻辑结构的数据通过转换可以以目标数据结构的数据供中心服务器集群调配使用；同时采用分布式并行算法，将待分析数据进行分片处理和并行运算，提高了运算效率；并根据算法获得待分析数据间的关联关系，为进一步业务优化提供了强有力的数据支持。

技术领域

本发明涉及数据处理领域，更具体地，涉及一种对聚合数据进行分析的方法及装置。

背景技术

随着市场经济逐渐的趋于成熟，企业管理的标准化和规范化越来越受到重视，很多企业在快速扩张期建立的多个分支机构因最初的建立标准不统一、企业兼并其他企业时，也因管理模式的差异导致使用的标准不尽相同；这些标准的不同体现在生产过程以及生产资料的管理差异、与生产过程相关的ERP系统、HR系统、CIMS系统的数据存储结构以及逻辑结构不同等；这导致在推行标准化和规范化时，各分支机构的数据无法统一的有效利用，无法进行整体的数据决策以及数据分析。

基于此，目前很多企业使用聚合共享系统，将各分支机构的数据聚合并统一存储供后续数据使用；而目前的聚合共享系统虽将数据统一聚合在一个系统中，对多个分支机构聚合在一起的数据统一存储统一处理，在数据使用过程中，数据提取效率较低，同时，因各分支机构采用的生产、工艺、库存以及物料管理系统都存在差异，聚合的数据间存在逻辑结构等差异，无法转化为有用的信息统一使用，因而系统对数据的处理一般仅限于录入、修改、删除、统计以及查询等数据库低层次应用，很难对数据进行集成分析以挖掘深层次的数据价值；上述问题也导致积累的丰富的生产数据只成为了摆设，无法有效利用数据快速输出数据分析决策结果以兼顾统一的指导各个分支机构的后续工作，失去了建立数据聚合系统的意义，各机构间也无法通过数据的分析结果进行业务的动态调配，极可能造成业务配置不均衡和资源的浪费。

发明内容

为了解决背景技术存在的现有数据聚合的系统因个分支机构间数据存储结构逻辑结构等差异使得无法有效统一利用进行数据分析，使得企业无法根据数据分析结果进行业务优化，同时因数据过于庞大导致在使用数据时数据提取效率较低等问题，本发明提供了一种用于对聚合数据进行分析的方法及装置，所述方法及装置通过对各分支机构的远端服务器内的数据进行抽取转换并加载到设置在总机构的中心服务器集群中，使得各远端服务器上存储的不同存储结构和逻辑结构的数据通过转换可以以相同的结构供中心服务器集群调配使用；所述方法及系统使用分布式并行算法对抽取的相应数据进行分析处理，极大提高了数据的处理效率，同时所述方法及系统根据算法获得待分析数据间的关联关系，为进一步业务优化提供了强有力的数据支持，所述方法包括：

步骤110，抽取各个远端服务器的业务数据，对所述业务数据进行处理并加载到中心服务器集群的数据仓库中；

步骤120，根据需求在数据仓库中按字段抽取相应数据，使用分布式并行算法对抽取的相应数据进行分析处理，获得数据间的关联关系；

步骤130，根据所述数据间的关联关系对业务进行优化以满足需求；

进一步的，所述中心服务器集群的多台服务器中的每一台配置有Linux操作系统以及Hadoop平台，各台服务器间通过网络连接；所述多台服务器中的每一台均部署有Hive；

进一步的，所述步骤110还包括：

步骤111，将抽取到的业务数据存储到中心服务器集群上与所述业务数据所属远端服务器对应的抽取数据库中；

步骤112，将抽取数据库中的数据进行数据转换，将转换后的数据存储到中心服务器集群上与所述转换后数据所属远端服务器对应的转换数据库中；所述数据转换包括对数据格式的转换和统一以及根据预设条件剔除无用信息；