[发明专利]对基于矩阵的分布式编程语言进行自动优化的方法

权利要求书

1.一种对基于矩阵的分布式编程语言进行自动优化的方法，其特征在于，包括以下步骤：

S1：将用户输入的程序按照预设的编程模型进行规范化处理；

S2：对规范化处理后的程序进行基于数据流的静态分析，以得到各个变量间的数据依赖关系；

S3：对规范化处理后的程序进行条件敏感的静态分析，以得到语句间的控制流依赖关系；

S4：对规范化后的程序进行分块，以使每一个程序块都可以完全依赖本地的数据，且在完全不进行网络通讯的情况下进行计算，以使程序块的数量最少；以及

S5：在得到的程序块之间插入网络通讯原语，以使所述网络通讯的开销最小。

2.根据权利要求1所述的对基于矩阵的分布式编程语言进行自动优化的方法，其特征在于，所述预设的编程模型为KASEN编程模型，所述KASEN编程模型为自定义的编程模型，具有如下特征：对局部变量和全局变量的区分，并且规定局部变量仅可通过局部变量计算得出，全局变量仅可通过全局变量计算得出；定义了完全分开的网络通讯及计算原语；定义了两类共4个不同的计算原语，其中，vector-only类的原语包括Map，Reduce和ZipWith；matrix-vector类的原语包括MxV，所述S1进一步包括：

所述KASEN编程模型通过定义Local类变量、Shared类变量、Vector类变量和Matrix类变量对数据进行存储，其中，Local类变量表示的是局部数据，每一个Local类变量在各个机器上都各自有一份实例，并且这些实例之间不需要进行同步，Shared类变量表示的是一种全局变量，每一个Shared类变量在各个机器上也都各自有一份实例，并且Shared类变量的值需要实时保持同步，各个机器上的Shared变量的值必须相等，Vector类变量同样是一种全局变量，且Vector类变量中的每一个元素只会被存储在一个机器之上，Matrix类变量也是一种分布式的存储在集群中的全局变量，其存储方式由用户预先设定；

所述KASEN编程模型通过定义Map操作、Reduce操作、ZipWith操作和MxV操作对数据进行相应操作，其中，Map操作的输入和输出分别是一个数组，系统将给定的用户函数应用于输入数组的每一个元素上，以得到输出数组，Reduce操作的输入为一个数组，但输出仅为一个标量，系统利用用户给定的归并函数不断的将输入数组的数据归并，直至得到最终的结果，将所述最终的结果作为所述标量，ZipWith操作的输入为两个数组，输出为一个数组，系统将用户给定的函数应用于两个输入数组中下标相等的两个元素中从而得到相应的输出，MxV操作执行类似于线性代数中矩阵与向量的乘积操作，将输入的一个数组和一个矩阵相乘得到结果数组。

3.根据权利要求2所述的对基于矩阵的分布式编程语言进行自动优化的方法，其特征在于，还包括：所述编程模型提供两种不同的网络原语，分别为gather和scatter，其中，

所述gather用于将分布式状态下的全局变量转换成集中式的存储；

所述scatter用于将集中式存储的变量转换成分布式状态。

4.根据权利要求1所述的对基于矩阵的分布式编程语言进行自动优化的方法，其特征在于，所述S2进一步包括：

对规范化处理后的程序进行流敏感的数据流分析，以得到每一个变量的always-depended信息和may-depended信息，其中，所述always-depended信息为一个变量的集合，在该集合中的所有变量，无论输入数据如何都会被该输入数据所依赖，所述may-depended信息为一个变量的集合，在该集合中的所有变量，在特定的条件下会被输入数据所依赖；

根据所述always-depended信息和may-depended信息得到所述规范化处理后的程序中各个变量间的依赖关系。