[发明专利]分布式处理系统、设备、方法和记录介质

说明书

为了提供能够减少要传输的数据容量并且以告诉开始分布式处理的分布式处理系统等。一种多个计算机(2a、2b、…)互连的分布式处理系统(1)，其中计算机(2)中的每一个设置有加载每个模块并且执行初始化处理的模块加载器(3)、从先前提供的存储装置或另一计算机获取包括用于初始化处理的命令的元数据的元数据管理单元(4)、读取并且写入存储装置或其他计算机内的文件的文件管理单元(5)、以及执行分布式批处理应用的执行容器(6)。文件管理单元(5)在所述初始化处理之后，检查在所述存储装置中是否存在包括相应模块的执行代码的执行区域，并且当执行区域不存在时，从其他计算机加载执行代码，并且写入所加载的执行代码作为执行区域。

技术领域

本发明涉及分布式处理系统、分布式处理设备、分布式处理方法和记录介质。更具体地讲，本发明涉及能够通过减小通信量高速执行处理的分布式处理系统等。

背景技术

需要由计算机实现的处理已经变得越来越复杂且大规模。然而，仅仅作为硬件的性能(计算能力、存储量等)的提高已经达到极限。因此，近来，已经特别开发出借助网络相互连接的多个计算机以分配方式协作执行处理所采用的分布式处理的技术(分布式数据库、分布式高速缓存、分布式共享存储器、分布器批处理等)。

近来，特别地，变得可以在个人计算机领域中以低价获得容量是4GB级别的RAM(主存储单元)、容量是1TB级别的硬盘(外部存储器设备)、通信速度是1Gbps级别的NIC(网卡)等并且可以容易地借助高速网络将设置有它们的计算机设备相互连接。因此，变得常见的是，连接多个这种节点(服务器设备)并且针对各节点采用分布式处理中间件以使其执行分布式处理。

中间件是典型地设置在操作系统(OS)和应用软件之间并且执行OS功能和应用软件的多用途功能的扩展形式的软件。在这些之中，分布式处理中间件提供分布式处理(多个节点之间的数据同步、应用的分布/配置、进程的开始/结束、错误处理等)中需要的功能。近来，特别地，用大量节点以协作方式执行处理的所谓云计算变得发达，使得分布式处理中间件的重要性尤其愈发增大。

作为使用分布式处理中间件的分布式处理系统可执行的分布式处理方法，存在诸如MapReduce、BSP和MPI的多种方法。在这些之中，主-从型分布式处理方法也是典型方法。

主-从型是被称为主的控制组件或节点控制其他节点所采用的处理模式中的一种，并且处理所谓的从。当在节点之间或者在进程之间创建主-从关系时，一直由主对从进行控制。

图20是示出现有分布式处理系统900的结构的说明图。分布式处理系统900是通过借助网络930将多个计算机设备相互连接而构成的。计算机设备中的一个是主节点910，其他是从节点920a、920b--(一般来讲，被称为从节点920)。

分布式处理中间件912安装在主节点910的OS 911(操作系统)上。类似地，分布式处理中间件922安装在从节点920的OS 921上。

主节点910将分布式应用分布于从节点920，使其执行必要处理。然而，通过从节点处理的部分与通过主节点处理的部分并不完全相同，而是常常可以是处理的部分或数据的部分。通过在各节点执行不同处理或者处理不同数据，可分布式并行进行多种处理。因此，可高速执行处理。

图21是示出通过图20中示出的分布式处理系统900执行的分布式应用950的结构的说明图。分布式应用950是通过组合处理模块、公共模块、配置文件、二进制数据(图像文件等)等的多个集合而构成的。

模块中的每个是执行格式文件、公共库文件等。在Windows(注册商标)的情况下，例如，它是EXE文件、DLL文件等。在Linux(注册商标)的情况下，它是外壳脚本、执行文件、库文件等。在Java(注册商标)的情况下，它是Jar文件、Class文件等。