[发明专利]用于智能电网大数据处理的数据表连接方法及计算机可读存储介质

摘要

本发明涉及智能电网大数据处理技术应用领域，特别涉及一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被控制器执行时实现用于智能电网大数据处理的数据表连接方法。该通过关键字key的哈希值对各个待连接数据表进行分区，以及把连接属性作为过滤的位数组对各个数据表的数据集进行清理，从而得到简化后的有效数据表，减少了网络通信的消耗和磁盘读写的开销，大大提高了数据表的连接的运算速度，使得智能电网数据处理的能力和水平相应地提升。再重构数据表分区，避免了数据表处理中的数据倾斜问题，使Spark集群结点的任务量基本相同，使得数据表处理的整体时间缩短。

主权项

1.用于智能电网大数据处理的数据表连接方法，其特征在于，包括如下步骤：数据预处理步骤，把待连接的全部数据表提交给数据处理系统的Spark集群；数据分区步骤，根据各个数据表中预设的关键字key的哈希值，分别对数据表进行分区，把属于关键字分区的数据集作为各个数据表新的数据表；数据清理步骤，抽取各个数据表的连接属性，取连接属性交集作为过滤的位数组，分别取各个数据表中属于位数组的数据集作为各个数据表新的数据表；数据再分区步骤，分别抽取各个数据表连接属性的关键词从而得到取样集，根据预设的采样率对各个数据表归属于取样集的数据进行采样，得到各个数据表的样本S，计算各个样本S中关键词的哈希值来构建哈希空间，根据分区数量划分哈希空间的区间，各个区间的样本S的数量差异不超过预设幅度；数据表连接步骤，在各个区间中，按照连接属性来连接经过上述步骤处理后的各个数据表。