[发明专利]一种多源异构数据融合建模方法

说明书

本发明公开了一种多源异构数据融合建模方法，具体涉及制造业异构数据处理技术领域，本发明通过使用Hibernate ORM的核心，提供了完整的JPA支持，实现多个不同类型的数据库更快捷的统一读写，同时采用针对于原始数据的不同类对应的数据描述，且采用协议解析规则，实现在数据融合建模的过程中，实现关键特征数据的决策级融合建模，同时基于其上通过多种协议解析引擎与数据的二维关系进行数据进行抽取，实现对不同类型的数据进行关键特征的决策级融合，提升了容错和抗干扰性，同步的针对于传统方式而言通过多种协议解析引擎与元数据的二维关系弥补了决策级建模方式数据精度低造成建模准确度不高的影响，使其实现快速精准的决策建模方式。

技术领域

本发明涉及制造业异构数据处理技术领域，更具体地说，本发明涉及一种多源异构数据融合建模方法。

背景技术

多源异构数据来自多个数据源，包括不同数据库系统和不同设备在工作中采集的数据集等。不同的数据源所在的操作系统、管理系统不同，数据的存储模式和逻辑结构不同，数据的产生时间、使用场所、代码协议等也不同，这造成了数据“多源”的特征，作为目前的制造业而言，尤其是在产品生产制造过程中产生的数据，其不仅数据量十分庞大，来源丰富、类型多样、结构复杂，而且由于制造业不同的部门和系统之间数据的来源、存储形式等各不相同，数据源之间存在异构性、分布性和自治性，数据类型既包括数字、关系型数据等结构化数据，也包括图像、音频等非结构化数据，其生产数据通过整个后经过建模处理，使其能够更为直观的展现，有利于决策的部署。

归结于数据的“多源”特性，使其在数据整合的过程中，采集到的数据的质量难以保证，缺失的、错误的、不一致的等不符合规范的无效数据普遍存在，同时来自不同系统的数据的格式也并不统一，这些都会给数据的有效分析带来困难，故此保障异构数据的有效分析同时，采用高效的处理整合手段，作为多种异构数据的整合效率提升的重要一环，针对于决策的建模方式而言，传统的多源异构数据在数据融合的过程中就有着一定程度的数据缺失，进而在特征提取时，造成模型的准确性受影响，无法依据需要实现快速决策的同时进行建模内容的更为精准化控制。

发明内容

为了克服现有技术的上述缺陷，本发明提供了一种多源异构数据融合建模方法，通过使用Hibernate ORM的核心、完整的JPA支持，实现多个不同类型的数据库更快捷的统一读写，确保了读写过程的稳定性和效率，同时采用数据清洗的方式提高数据的整体质量，保障数据转换过程的有效工作量，从而达到提升实时数据处理速度的效果，使其数据整合的效率得到提升。

为实现上述目的，本发明提供如下技术方案：一种多源异构数据融合建模方法，包括数据采集、数据整合和数据分析流程，具体包括以下步骤：

步骤一：数据采集过程中，针对原始数据进行准确、实时的采集，为数据集成阶段提供原始数据源，对原始数据源进行数据描述，并建立对应的多种协议解析引擎。

步骤二：依据多种不同类的数据源使用HBase和NoSQL数据库对来自各个子系统的数据进行分布式存储。

步骤三：通过加载Hibernate OGM并基于其上建立统一的HBase和NoSQL 数据库访问模型，使两个数据库按照统一的规则并在同一个框架下进行读写完成整体的数据接入。

步骤四：利用同类均值插补方式对于错误数据，首先利用统计分析的标准差方法对预估出现的错误值识别，并对识别后的错误数据进行清除，完成对数据进行筛选。

步骤五：对数据清理后，其数据通过Extract-Transform-Load，进行筛选加工转换，然后加载到一个数据仓库模型中去存储。

步骤六：通过采用FP-Growth并行算法针对数据仓库模型中的数据进行提取分析并标记出关联信息，将关联信息导入相应的建模算法即可。