[发明专利]一种基于改进型CIM模型的电力数据处理方法

摘要

本发明公开了一种基于改进型CIM模型的电力数据处理方法，先将不同系统中的数据按照数据的来源和属性进行按类存储，再依次进行数据的抽取、清洗、转换和加载，从而搭建出改进型的CIM模型，最后在集成总线上利用改进型的CIM模型完成对不同系统来源的数据的ETL；这样将电力系统的CIM模型引入到ETL流程中，解决了传统ETL方法在处理来源多样的电力系统数据时不能统一数据模型的问题，提升了ETL流程的整体功效，使得电力数据得到高效的整合。

主权项

1.一种基于改进型CIM模型的电力数据处理方法，其特征在于，包括以下步骤：(1)、根据数据的来源和属性进行按类存储(1.1)、将具有一定保密性要求的信息数据存储到关系型数据库MySQL；(1.2)、将随着电网的运行不断增长的电力数据存储到分布式数据库HBase；(1.3)、将规范、规章制度的文件数据存储到分布式文件系统HDFS；(2)、根据电力系统业务需求，利用不同抽取方式从不同的数据库中抽取需要的数据(2.1)、利用SQL语句在MySQL中抽取需要的信息数据；(2.2)、利用增量抽取方式在HBase中抽取自上次抽取后新增或修改的电力数据；(2.3)、利用全量抽取方式在HDFS中抽取所有存储的文件数据；(3)、对抽取的数据进行清洗(3.1)、将每一次抽取到的数据作为一个数据字段，并加入到一数据集中，然后遍历该数据集，检测数据集中每个数据字段的每个字母，如果字母是小写字母，则全部统一为大写字母，如果字母字母是不标准罗马字母，则全部替换为标准类型的罗马字母；(3.2)、再次遍历该数据集，检测数据字段前后是否存在Tab健或空格，如果存在，则全部剔除；(4)、利用合适的适配器对清洗后的数据进行转换处理(4.1)、判断清洗后的数据的来源，再根据来源选择合适的适配器，并将预处理后的数据送入到选择的适配器中；(4.2)、逐个判断清洗后的数据字段是否存在于适配器的标准字段库中，如果存在，则将该数据字段和标准字段关联，完成该数据字段的解释，并作为最终输出数据；如果不存在，则进入步骤(4.3)；(4.3)、计算该数据字段与标准字段库中的字段的相似度sim；其中，Com为两个数据字段的公共字符长度，Leng为用于比对的该数据字段的长度；(4.4)、设定相似度阈值，再将相似度于阈值的数据字段剔除，其余的作为最终输出数据；(5)、利用适配器的输出数据构建改进型CIM模型(5.1)、根据适配器的输出数据的属性信息，定位数据字段在CIM模型中所属的类别；再依据数据字段的参数信息，定位数据字段在所属类别中的对象，并将数据字段和CIM模型中的对象进行映射；(5.2)、根据CIM模型中定义的类中对象的相互关系，建立映射后的数据字段间的拓扑结构；(5.3)、将适配器的输出数据按照每个数据字段送入到CIM提供的对应容器中，按照拓扑结构搭建出改进型的CIM模型；(6)、将改进型CIM模型加载到集成总线，在集成总线上，当有新的不同类数据送入到改进型CIM模型时，通过改进型CIM模型同时完成不同类数据的ETL，即抽取、清洗、转换和加载处理。