[发明专利]一种分布式并行计算的服务器系统及其管理方法

说明书

技术领域

本发明涉及分布式并行计算服务器技术，尤其涉及一种用于大数据计算的分布式并行计算服务器系统及其管理方法。

背景技术

随着计算机技术的飞速发展，大数据时代的到来，对于数据处理及计算的性能需求不断增长，不断地追求高效率及高性能。分布式并行计算主要针对云计算互联网、计算密集型科研以及大规模科学计算等重要领域。其中，网络已成为家喻户晓的名词，其客户量增多，数据量倍增，处理数据的能力及效率成为各大互联网公司的关注点。计算密集型科研更是如此，再精妙的计算算法，若没有分布式并行计算服务器系统的支持，终究无法实现。

目前，分布式并行计算服务器系统的架构如图1所示，由于其结构上的制约导致现行的系统存在着诸多问题。例如，无法对系统内分布式并行服务器进行统一的管理，系统的可扩展性差，由于开放式的网络系统导致网络信息安全性差，以及无法充分利用并行服务器的资源为用户的计算任务服务。

因此，需要提供一种分布式并行计算的服务器系统，能够方便地管理分布式并行服务器，并大大提高网络信息安全性。

发明内容

本发明所要解决的技术问题是提供一种用于大数据计算的分布式并行计算的服务器系统及其管理方法，能够方便地管理分布式并行服务器。

为了解决上述技术问题，本发明提供了一种分布式并行计算的服务器系统，包括一或多个客户端通过互联网连接到分布式并行计算的服务器集群中，该服务器集群包括管理服务器和管理的多个任务服务器，其中：

客户端，用于向分布式并行计算的服务器集群提出计算任务的服务请求；

管理服务器，用于根据客户端的服务请求将相关的数据信息分成单元数据并由分布式文件系统存储，对单元数据进行安全处理后，根据任务服务器的当前资源将安全处理过的单元数据分配给相应的任务服务器；

任务服务器，用于对分配的经安全处理的单元数据进行解安全处理后，按照指定的计算方式对解安全处理的单元数据完成相应的计算任务，得到计算结果。

进一步地，

任务服务器在得到所述计算结果后，将该计算结果的数据进行安全处理后反馈给所述管理服务器；

管理服务器对收到的经安全处理后的计算结果的数据进行解安全处理并综合分析出计算任务的最终结果，然后对最终结果进行安全处理后返回给客户端；

客户端对接收的计算任务的最终结果通过解安全处理得到计算任务的最终结果。

进一步地，管理服务器包括依次连接的系统安全管理模块、处理模块以及存储模块，其中：

系统安全管理模块，用于通过资源调度子模块为任务服务器分配和/或调度资源，通过任务管理子模块根据服务请求将相关的数据信息分成单元数据并由分布式文件系统存储在存储模块中，通过安全管理子模块对单元数据进行加密或数字签名处理后传递给处理模块；

处理模块，用于接收到经加密或数字签名处理后的单元数据后查询各个任务服务器当前的资源和运行的负载状态，为参与当前计算任务的任务服务器创建数据计算记录，并将所述数据计算记录随所述加密或数字签名处理后的单元数据一起分配并发送给任务服务器。

进一步地，

任务服务器对收到的单元数据进行解密或验证数字签名处理后，根据一起收到的数据计算记录对单元数据进行计算并得到计算结果后，将计算结果的数据和更新的数据计算记录进行加密或数字签名处理后反馈给处理模块；

处理模块接收和整理各任务服务器经加密或数字签名处理后的计算结果的数据和更新的数据计算记录，并存储在存储模块上，同时反馈给系统安全管理模块；

系统安全管理模块通过安全管理子模块对接收的计算结果的数据和更新的数据计算记录经解密或验证数字签名处理后，由虚拟计算子模块根据更新的数据计算记录综合分析出计算任务的最终结果，然后由安全管理子模块进行加密或数字签名处理后反馈给客户端。

为了解决上述技术问题，本发明提供了一种分布式并行计算的服务器系统的管理方法，涉及通过互联网连接的分布式并行计算的服务器集群，该服务器集群涉及管理服务器和被管理的多个任务服务器，包括如下步骤：

管理服务器根据客户端的计算服务请求将相关的数据信息分成单元数据并由分布式文件系统存储，对单元数据进行安全处理后，根据任务服务器的当前资源将安全处理过的单元数据分配给相应的任务服务器；

任务服务器对分配的经安全处理的单元数据进行解安全处理后，按照指定的计算方式对解安全处理的单元数据完成相应的计算任务，得到计算结果。

进一步地，该方法还包括：