[发明专利]一种基于CIM模型建立电网大数据仓库的方法

摘要

提供了一种基于CIM模型建立电网大数据仓库的方法，包括基于多个现有电网业务系统的数据库表结构、ECIM模型重新构造CIM模型；以所述重新构造的CIM模型为标准将所述多个现有电网业务系统以及所述ECIM中的数据进行格式转换并存储以建立电网大数据仓库，减少了电网大数据仓库创建过程中的人为干预，当存在多种数据库类型，仍然能够更加高效稳定地实现大数据仓库的创建，特别是基于CIM模型实现自动创建大数据仓库，并且在创建过程中应用本专利的相关度量及属性及关系度量算法使得实体合并更加准确高效，同时将对于数据的处理，将数据清洗与合并采用不同周期处理方式，避免了可能存在的大数据仓库的访问冲突。

主权项

1.一种基于CIM模型建立电网大数据仓库的方法，包括：基于多个现有电网业务系统的数据库表结构、ECIM模型重新构造CIM模型；以所述重新构造的CIM模型为标准将所述多个现有电网业务系统以及所述ECIM中的数据进行格式转换并存储以建立电网大数据仓库；所述基于多个现有电网业务系统的数据库表结构、ECIM模型重新构造CIM模型包括：从多个现有电网业务系统的数据库表结构中提取实体子集SUBEN₁，……，SUBEN_i，……，SUBEN_n，属性子集SUBPR₁，……，SUBPR_i，……，SUBPR_n，关联关系子集SUBRE₁，……，SUBRE_i，……，SUBRE_n，所述多个电网现有业务系统分别属于不同的数据库类型，i，n为整数，且n>1，1<＝i<＝n；从ECIM中提取实体子集SUBEN_n+1、属性子集SUBPR_n+1、关联关系子集SUBRE_n+1，所述ECIM是在标准CIM基础上扩展后得到的；将所有实体子集合并为一个实体集合SETEN，将所有的属性子集合并为一个属性集合SETPR，将所有的关联关系子集合并为一个关联关系集合SETRE；以所述实体集合SETEN、属性集合SETPR、关联关系集合SETRE为基础构建实体关系模型；将所述实体关系模型对象化以得到重新构造的CIM模型；所述将所有实体子集合并为一个实体集合SETEN，将所有的属性子集合并为一个属性集合SETPR，将所有的关联关系子集合并为一个关联关系集合SETRE包括：分别创建空的实体集合SETEN、空的属性集合SETPR、空的关联关系集合SETRE；将从ECIM中提取出的实体子集SUBEN_n+1中的所有元素存放在所述实体集合SETEN中，将从ECIM中提取出的属性子集SUBPR_n+1中的所有元素存放在所述属性集合SETPR中，将从ECIM中提取出的关联关系子集SUBEN_n+1中的所有元素存放在所述关联关系集合SETRE中；对于每个SUBEN_i，逐一将SUBEN_i中的每个实体EN_j合并到所述实体集合SETEN中，其中1<＝j<＝m，j，m为整数，且m>1；所述逐一将SUBEN_i中的每个实体EN_j合并到所述实体集合SETEN中包括：在EN_j所在现有电网业务系统i的数据字典中提取对应于EN_j的描述字符串STR_j；计算EN_j的描述字符串STR_j与实体集合中的每个实体的描述字符串之间的相关度量值；如果实体集合SETEN中不存在相关度量值大于预定相关阈值的实体，则直接将EN_j存放在所述实体集合SETEN中；如果实体集合SETEN中存在相关度量值大于预定相关阈值的实体ENT₁，……，ENT_k，……ENT_z，k，z为整数，且1<＝k<＝z，z>0，则将这些实体作为候选实体，并进一步计算这一个或多个候选实体中每个实体ENT_k与EN_j的属性及关系度量值，如果这一个或多个实体中不存在属性及关系度量值大于预定属性及关系阈值的实体，则直接将EN_j存放在所述实体集合SETEN中；如果这一个或多个实体中存在属性及关系度量值大于预定属性及关系阈值的实体ENTT₁，……，ENTT_h，……ENTT_x，h，x为整数，且1<＝h<＝x，x>0，则将EN_j与属性及关系度量值最大的实体ENTT_max进行整合；从属性集合SETPR中提取所有包括实体ENT_k的元素并存放于集合SETPRPF中，从所述集合SETPRPF中的所有元素中提取出属性项并存放于第一属性集合SETPRF中；从关联关系集合SETRE中提取所有包括实体ENT_k的元素并存放于集合SETREPF中，从所述集合SETREPF中的所有元素中提取出非ENT_k项的实体项并存放于第一关联关系集合SETREF中；从属性子集SUBPR_i中提取所有包括实体EN_j的元素并存放于集合SETPRPS中，从所述集合SETPRPS中的所有元素中提取出属性项并存放于第二属性集合SETPRS中；从关联关系子集SUBRE_i中提取所有包括实体EN_j的元素并存放于集合SETREPS中，从所述集合SETREPS中的所有元素中提取出非EN_j项的实体项并存放于第二关联关系集合SETRES中；计算属性及关系度量值，其中∩为交集运算符号，∪为并集运算符号，||为计算集合中元素数量的运算符号，a、b为权重系数，且a>1，b<1，c为比例系数，当|SETPRF|+|SETPRS|>|SETREF|+|SETRES|时取否则取