[发明专利]基于Web动态参与的分布式并行计算平台系统

说明书

技术领域

本发明涉及一种利用网络闲置计算资源、基于Web动态参与的分布式并行计算平台系统，属于分布式高性能计算技术领域。

背景技术

随着社会生产生活的发展，各个领域对高性能计算的需求越来越迫切。计算机模拟已成为与理论和实验并列的第三种科学技术研究手段，是高性能计算的最主要应用方向。社会、经济、金融、生态等越来越多的复杂巨系统成为需要定量分析、模拟的对象，为科学决策提供依据。另一方面随着信息技术的发展，出现越来越多的海量信息和数据的处理，这也必然需要高性能计算。高性能计算已不能局限在少数几个数据中心，而需要大量走进实验室，企业，和学校，成为许多科学研究的基础条件。但高性能计算系统的价格和维护费用都十分可观，编程和使用难度也很大，令许多潜在用户望而却步。

海量信息和数据，一般可以分成许多小的相互独立的子集，分别进行处理。大多数复杂系统模拟对象也具有离散特性。这些复杂系统，包括社会、经济和生态系统中的Agent主体，相互之间的作用都有局部性，从而也可以分解成相对独立的子模拟计算任务。由此可见，多数高性能计算任务可分解成相对独立的子任务，并行计算成为提高计算性能必然的选择。

中国专利申请200810224328.6从硬件上构建专用的并行计算系统，结合相应的算法，充分利用任务离散特性，使计算的效率最大化。其他如美国专利US5432718等也是设计专门的硬件来完成某特定类别系统的模拟仿真处理。针对任务特性设计开发专用的高性能计算机，可以使效率最大化，降低硬件成本。但研发投入大，技术要求高，周期长。

由于技术及成本投入等因素，分布式并行计算成为一种更为广泛而实用的解决方案。中国专利申请200810239104.2，200810217439.4等为解决各自领域高性能计算问题，利用专用的机群或服务器，构建分布式并行计算平台。硬件投入成本仍然很高。对许多科研项目和人员来说还是过于昂贵。

因高性能计算资源的限制，一些研究和模拟实验只能大幅简化，从而影响效果。甚至有些研究计划不得不搁置或放弃。许多海量信息和数据也未能充分挖掘和利用。

与此同时，可以看到有大量的计算资源处于闲置或半闲置状态。各种用途的服务器，利用率不一定很高。个人计算机通常从事轻松的交互型办公任务，CPU利用率一般小于5%。普通计算机计算性能不高，但数量庞大。这些闲置计算能力的总量是惊人的。而互联网上的闲置计算资源就更多了。

能否有效的利用这些分散的闲置计算资源，以用于高性能计算？NASA的SETIhome项目，就是利用互联网上闲置计算资源来进行寻找外星智能的计算。还有BONIC等其他一些类似的项目和尝试。其中有些取得比较好的效果。但这些方法都需要在计算节点安装软件，进行配置。在恶意软件横行的网络环境下，安装额外软件是不受欢迎的。操作配置上复杂，或者安全上的顾虑，会让很多的人不愿贡献其计算资源参与计算。限制了可以利用的闲置计算资源的范围。所以，参与的便利性和安全性是成功构建分布式大规模并行计算平台的关键因素。而这正是现有各种技术和方法的共同弱点。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种便利快捷的利用网络闲置计算资源，基于Web动态参与的分布式并行计算平台系统。使得网络闲置计算资源，不需安装部署任何软件，也不需额外配置，经由Web浏览器访问指定页面即可参与计算，成为计算节点。计算过程中，这些计算节点仍可进行轻量级的如日常办公的工作，并且可以随时动态参与和退出。

技术方案：一种基于Web动态参与的分布式并行计算平台系统，包括计算任务管理主机和计算节点；所述计算任务管理主机包括计算任务分解单元、计算任务派发单元、Web服务器单元、计算结果收集单元和计算结果汇总处理单元；计算节点包含Web浏览器和嵌入在Web浏览器网页中运行的Java Applet节点程序；

计算任务分解单元，接受用户提交的计算任务，并对这些计算任务进行初始化，将计算任务按粒度分解成多个子计算任务，将子计算任务封装成计算任务包对象；海量数据处理高性能计算中，把待处理数据根据一定规则分解成相对独立的子集，每个子集对应一个计算任务包。复杂系统模拟中，把系统按相互作用的局部性划分成子区域，每个子区域及其作用邻域的状态对应一个计算任务包。

 Web服务器单元，通过URL地址提供Web访问服务；当计算节点通过Web浏览器访问该URL地址时，Web浏览器返回一个任务计算网页，内嵌Java Applet计算节点程序；