[发明专利]基于轻量级虚拟机的并行计算方法、装置及系统

说明书

本发明公开了基于轻量级虚拟机的并行计算方法、装置及系统，方法包括：接收计算请求并将该计算请求放入任务队列中；所述任务队列中包含至少一个计算请求，该任务队列中的所有计算请求按照计算请求的时间的先后顺序依次排列；计算请求包括计算数据和代码；根据查询请求查询所有计算节点的状态信息；所述状态信息包括可用于计算和不可用于计算；根据计算节点的状态信息将计算数据和代码发送至可用于计算的计算节点，使所有可用于计算的计算节点对应的轻量级虚拟机同步运行代码进行计算。本发明的代码可以重用，编程复杂度低，执行效率高。

技术领域

本发明涉及计算机领域，尤其涉及基于轻量级虚拟机的并行计算方法、装置及系统。

背景技术

21世纪是信息化的时代，由于传感技术和通信网络的发展、数据收集和存储的规模在飞速增大，如何从海量数据中挖据出有效的信息是当前的研究热点。目前较为普遍的方案是采用集群系统和分布式框架来提高数据处理的效率。并行计算是提高计算机系统计算速度和处理能力的一种有效手段。

并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，以及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解为若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台独立计算机构成的集群。

MPI(信息传递接口)是目前开发并行应用程序的主要编程模型，消息传递编程模型的事实标准。MPI存在的问题是，针对不同的并行算法，需要重写数据分配、通信等细节，代码重用率低，机器扩展性能差，对编程人员的要求高，且优化和调试成本高。

MapReduce是谷歌提出的一种并行化编程框架，其通过简单的编程模型，使得用户从编写底层程序中解放出来，只需将注意力放在上层应用。然而用户很难对复杂数据进行处理，用于不得不编写大量的MapReduce任务，往往导致执行效率低下。尤其在迭代过程中，Map和Reduce会频繁进行序列化和反序列化操作，这些操作导致了较高的输入和输出开销。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于轻量级虚拟机的并行计算方法，其能解决现有技术中执行效率低、复杂度高的问题。

本发明的目的之二在于提供基于轻量级虚拟机的并行计算装置，其能解决本发明的目的之一。

本发明的目的之三在于提供基于轻量级虚拟机的并行计算系统，其解决现有技术中执行效率低、复杂度高的问题。

本发明的目的之一采用以下技术方案实现：

基于轻量级虚拟机的并行计算方法，包括如下步骤：

S1：接收计算请求并将该计算请求放入任务队列中，并向控制节点发送查询请求；所述任务队列中包含至少一个计算请求，该任务队列中的所有计算请求按照计算请求的时间的先后顺序依次排列；计算请求包括计算数据和代码；

S2：根据查询请求查询所有计算节点的状态信息；所述状态信息包括可用于计算和不可用于计算；

S3：根据计算节点的状态信息将计算数据和代码发送至可用于计算的计算节点，使所有可用于计算的计算节点对应的轻量级虚拟机同步运行代码进行计算。

优选的，S1中，计算数据和代码由用户输入。

优选的，S1中，根据任务队列中排在首位的计算请求向控制节点发送查询请求。

优选的，所述状态信息还包括错误。