[发明专利]一种基于数组私有化的并发大数据实时处理方法

说明书

技术领域

本发明属于大数据和互联网技术领域，具体涉及一种并发大数据的数组私有化方法。

背景技术

目前，在大数据处理领域，因涉及的数据量级以及数据类型都具有相当高的复杂性和多样性，为了节省存储空间和内存资源，人们最常用的处理方法就是变量复用，这就造成了在迭代和循环过程中，变量反复的定义、重定义和反复引用的问题，同时阻碍了程序的并发处理，大大降低了数据处理的效率，而这对于实时性要求高的并发大数据处理场景来说是不可接受的。

发明内容

为解决以上问题，尽量避免变量的频繁定义和复用，提高并发大数据处理的实时性和高效性，本发明提供了一种基于数组私有化的并发大数据实时处理方法。

本发明的技术方案为：

一种基于数组私有化的并发大数据实时处理方法，其特征在于：包括以下步骤：

A.临时数组变量的过滤，并利用临时变量的被写特征点在循环体中的相对位置，初步划分可私有化的数组；

B.利用暴露集特性理论，对步骤A粗选后的临时数组变量进行数组变量的可私有化过滤；

C.采用近似暴露集算法对循环嵌套中的临时变量数组进行可私有化判定；

D.对可私有化的临时数组变量进行私有化变换；

E.可私有化临时数组变量的原始数值的记忆与终止数值的转存。

进一步的，所述步骤A的具体实现方式为：

在分类出的临时变量中，根据变量的被写点位置，在本次循环体外或者本次循环体内的，可初步识别出可私有化处理的变量：

(1)若临时变量的被写点在前次循环中完成：

Do i＝1:n

Operate Va…

Va＝…

EndDo

临时变量Va不可进行私有化处理；

(2)若临时变量的被写点在迭代循环以外完成：

Va＝…

Do i＝1:n

Operate Va…

EndDo

可以对临时变量Va进行私有化处理；

(3)若临时变量的被写点在本次循环体内：

Do i＝1:n

Va＝…

Operate Va＝…

End Do

可以对临时变量Va进行私有化处理。

进一步的，所述步骤B的具体实现方式为：

根据数组元素暴露的特性——若数组元素在程序体中是暴露的，那么该数组元素在程序体中是先读后写的，即，假设一个n维临时数组变量Array＝[a₁a₂…a_n],若其中某元素a_i是现在程序体Program外赋值，后在Program中被引用，那么数组元素a_i就是Program中暴露的，而Array中相对于Program中所有暴露元素的集合就是暴露集合，记为UE_P(Array)；

从步骤A中，临时数组变量依据被写点的相对位置关系可知，临时数组变量可私有化的充要条件是：当且仅当一个程序体中各循环迭代暴露集没有跨循环的写相关数据流，即，

其中，UE_LPⁱ(Array)表示在程序体第i次LP循环体中临时数组变量Array的暴露集；表示第j次LP循环体中包含的数据元素集合；WR_LPi表示第j次LP循环中含有对Array中元素的写相关数据流；

特别地，在循环迭代体中，若该临时数组变量的那么该临时变量是可私有化的，因此临时数组变量可私有化的充要条件可补充为下式：

其中，2≤i≤L_ed,L_ed为循环次数。

进一步的，所述步骤C的具体实现方式为：

如果对数组元素的读写操作间没有反相关性，那么在循环中就可以把读写操作交换顺序来执行，即，RD操作在循环体LP中引用的数组元素如果同时也在集合中，其中，表示在LP循环中WR与RD无反相关性，那么这些数组元素的被写点一定在LP循环体内，据此可推出

其中，RD表示LP循环体中的读操作；WR表示LP循环体中的写操作；Set_LP表示LP循环体中的引用元素集合；R_LP表示LP中的读操作集合；WR_LP表示LP中的写操作集合。

进一步的，所述步骤D的具体实现方式为：