[发明专利]一种多源异构数据融合和量测数据多源互校验方法及系统

权利要求书

1.一种多源异构数据融合和量测数据多源互校验方法，其特征在于，包括以下步骤：

对多源量测数据进行融合；

基于融合结果，对量测数据进行时序关系分析与特征提取；

根据提取的特征，计算多源关联分析与偏差量化指标；具体为通过离散标准化将原始数据值线性变换后映射到[0,1]之间，得到标准化后的不同数据源间的量测值；

计算不同数据源间量测值的距离度量和相关系数，得到距离度量和相关系数；

通过动态分配距离度量和相关系数的权重，计算不同数据来源之间量测偏差量化指标；

基于偏差量化指标，进行量测多源一致性校验。

2.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，对多源量测数据进行融合，包括：

从消息总线获取的量测报文，按照电力调度数据对象结构化设计进行数据解析，得到多源量测数据；依据HBase数据存储结构，进行Rowkey区分，并按年份和电力调度数据对象维度分表存储量测数据；

数据获取通过运行在Hadoop集群上的Spark分布式计算引擎，将HBase中存储的量测数据加载到集群内存中进行多源量测数据融合。

3.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，对量测数据进行时序关系分析与特征提取，包括：

根据时间序列不变性分析方法对历史数据进行特征提取，获得所述历史数据中包含的趋势变化规律和多源数据间的相互依赖关系；根据所述趋势变化规律和相互依赖关系，建立跨时空、跨调度间的多源数据特征因素集，完成对量测数据进行时序关系分析与特征提取；

其中，所述时间序列指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。

4.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，所述计算多源关联分析与偏差量化指标具体方法如下：

计算两个相同统计口径、不同数据来源任意时刻i的量纲：

计算不同数据源间量测值的距离度量α_X,Y：

其中，p=2，X和Y均表示数据源，N表示量测点个数，表示数据源X在i时刻的量测值，表示数据源Y在i时刻的量测值；

计算量测序列的相关系数ρ_X,Y：

其中，表示数据源X的N个量测值的平均值，表示数据源Y的N个量测值的平均值；

通过分析不同对象及统计口径数据，统计提取量测特征，动态分配模型权重w，计算不同数据来源之间量测偏差量化指标：

SIM(V_x,V_y)=wα_X,Y+(1-w)(1-ρ_X,Y)。