[发明专利]一种多源异构数据融合建模方法

权利要求书

1.一种多源异构数据融合建模方法，其特征在于，包括数据采集、数据整合和数据分析流程，具体包括以下步骤：

步骤一：数据采集过程中，针对原始数据进行准确、实时的采集，为数据集成阶段提供原始数据源，对原始数据源进行数据描述，并建立对应的多种协议解析引擎；

步骤二：依据多种不同类的数据源使用HBase和NoSQL数据库对来自各个子系统的数据进行分布式存储；

步骤三：通过加载Hibernate OGM并基于其上建立统一的HBase和NoSQL数据库访问模型，使两个数据库按照统一的规则并在同一个框架下进行读写完成整体的数据接入；

步骤四：利用同类均值插补方式对错误数据进行处理，首先利用统计分析的标准差方法对预估出现的错误值识别，并对识别后的错误数据进行清除，完成对数据进行筛选；

步骤五：对数据清理后，其数据通过Extract-Transform-Load工具进行筛选加工转换，然后加载到一个数据仓库模型中去存储；

步骤六：通过采用FP-Growth并行算法针对数据仓库模型中的数据进行提取分析并标记出关联信息，将关联信息导入相应的建模算法。

2.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述步骤二中的HBase和NoSQL数据库可以替换为MySQL、Oracle、DB2、SQL Server和Redis、HBase、MongoDB、Neo4j中的任意一种。

3.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述步骤五中Extract-Transform-Load工具为Datastage、Informatica和Kettle中的任意一种。

4.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述步骤二中的分布式存储内存中采用基于哈希表的索引结构，即hash表存放的是数据在磁盘上的位置索引，磁盘上存放的是主键和value的实际内容。

5.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述步骤四中数据筛选的同时，对于不一致的数据，通过基于关联数据之间的一致性来检测数据潜在的错误，并进行修复，以完成对多数据源数据的清理。

6.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述原始数据源包括多种异构数据信息，原始数据源的数据描述包括关键特征数据的提取与协议解析规则进行结合描述。

7.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述多种协议解析引擎对数据描述中配置的协议，利用相关协议的监听、拉取和爬取的方式，将数据解析之后建立二维关系存入消息队列中并在消息队列中依次存入对应的HBase和NoSQL数据库。

8.根据权利要求1所述的一种多源异构数据融合建模方法，其特征在于：所述步骤四中清除的错误数据实行定容量回收站暂存策略。