[发明专利]对基于矩阵的分布式编程语言进行自动优化的方法

说明书

本发明提出一种对基于矩阵的分布式编程语言进行自动优化的方法，包括以下步骤：将用户输入的程序按照预设的编程模型以进行规范化处理；对规范化处理后的程序进行基于数据流的静态分析，以得到各个变量间的数据依赖关系；对规范化处理后的程序进行条件敏感的静态分析，以得到语句间的控制流依赖关系；对规范化后的程序进行分块，以使每一个程序块都可以完全依赖本地的数据，且在完全不进行网络通讯的情况下进行计算，以使程序块的数量最少；在得到的程序块之间插入网络通讯原语，以使网络通讯的开销最小。本发明可以自动地对给定的基于矩阵的程序进行优化，通过减少内存的读取与写入，提升缓存的利用率，减少通讯量等手段将程序的运行效率提升。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种对基于矩阵的分布式编程语言进行自动优化的方法。

背景技术

传统的基于矩阵的编程语言，比如说MATLAB、R等，能够用一种紧凑的方法表达对数据的操作。因此，他们被广泛地应用于数据分析和科学计算领域。为了保证这些语言的易用性，并同时能够通过增加机器数目进行线性扩展，很多工具被研究人员们提出。这些工具一般来说会提供一个与上述语言相似的基于矩阵的编程接口，同时它们的底层实现会基于MapReduce等大数据编程模型。通过自动地将这两种模型进行转换得到既保留上层语言的可编程性，又能够做到扩展以及容错的系统。然而，由于这些面向于MapReduce的底层系统缺乏相应的原语，它们执行矩阵运算时的效率并不高，并且通讯量也很大，因此并不是一个合适的方法。

由于上述的问题，后续的研究人员尝试开发了直接基于分布式矩阵操作的分布式计算框架。这些框架(比如Spartan，ComBLAS等)将数据描述为一维或多维的数组，并利用矩阵计算原语对它们进行操作。由于利用了目前已有的一些技术实现，比如2.5D矩阵乘法、分片等，它们得以获得了很高的运行效率。根据它们的测评结果，这一类的计算框架一般都远快于传统的计算框架(至少10倍的效率提升)。

然而，这样的体系结构仍然是不完美的。有一类重要的组件不存在于这一类结构之中，即优化器。优化器应该要可以通过讲操作进行合并或者调整操作间的顺序等办法对程序进行优化。相对地，目前的这一类系统基本上都采取的是最简单的实现方法，既完全按照程序员所给定的步骤，一步一步地执行，这就好像是在程序编译的时候加上了–O0选项一样。这一状况昭示了在这一部分仍然有很大的优化空间。举例来说Spartan系统采用了一个很简单的优化策略，既将相邻的多个Map操作或者Map－Reduce对组合到一个函数中去一起执行。根据它们的测试，这样简单的优化就能够取得最高达到两倍的优化。

虽然在传统的单机领域对基于矩阵的编程语言进行优化是一个已经被研究了很多年的话题，但在多机领域仍然没有先例。在多极情况下优化器必须考虑到数据间的同步情况，因此并不能进行任意的跳换按顺序。根据相关研究发现，现有的方法主要面临着以下几个问题：1)现有的编程模型要么过于局限以至于有很大一类的算法不能够被支持，要没过于广泛以至于无法进行有效的优化；2)利用传统的基于矩阵的语言进行编程的时候会产生很多的中间结果数组，需要对他们进行合并处理；3)数据同步的顺序需要仔细考虑，从而减少网络通讯的开销。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的目的在于提出一种对基于矩阵的分布式编程语言进行自动优化的方法，该方法可以自动地对给定的基于矩阵的程序进行优化，通过减少内存的读取与写入，提升缓存的利用率，减少通讯量等手段将程序的运行效率提升。