[发明专利]基于Linux并行计算平台的动态负载均衡方法

摘要

一种基于Linux的并行计算平台的动态负载均衡方法，属并行计算领域。其硬件架构包括多台参与计算的计算机，每台计算机上安装Linux操作系统和MPI软件开发包。在并行计算过程中，将总的计算任务划分为执行时间相等的多个阶段执行。使用系统中的例行工作调度技术，在每个时间阶段的并行计算开始前，先读取各个节点当前的资源利用率，并结合各个节点的计算性能及计算复杂度，对节点的计算任务进行动态分配，保证每个阶段各节点的计算时间基本相等，减少系统同步等待的延迟。通过这种动态调整策略，可实现以较高的资源利用率完成总的计算任务，突破低配置计算节点造成的效率瓶颈，在并行计算的基础上进一步节省计算时间，提高计算效率。

主权项

一种基于Linux的并行计算平台的动态负载均衡方法，其硬件架构包括多台参与计算的计算机，每台计算机上安装Linux操作系统和相关的MPICH软件，将每根网线的一端插入计算机的网口，另一端接入同一个局域网的路由器上，并配置Linux的SSH服务器使各个计算机之间实现无密码登入，选择其一台计算机为主控计算机，称为主节点，负责数据和任务的收集与分发、计算结果的显示这些辅助工作，同时它也作为一个计算节点参与计算，其余的计算机均只负责计算功能，称为从节点；上述完成了并行计算的硬件连接和软件的配置，并行计算平台构建完成后，再在该环境下设计并行算法，以硬件平台以及并行算法为基础，通过编写脚本文件，并结合Linux系统中的例行性工作调度技术，实现并行计算的动态负载均衡，该方法步骤如下：1)依次在各计算节点上对将要执行的并行计算程序进行编译；所有节点参与计算的程序均存放在相同的路径下；2)主节点通过SSH服务器，实现远程登录并控制各个节点，执行保存在各节点统一路径下的脚本文件，该脚本文件用于计算各个节点的CPU利用率，并使用Linux系统中的数据处理指令awk以及数据流重定向技术将计算得到的CPU利用率保存到指定路径的文件中；3)主节点通过执行远程复制指令scp，将各节点记录CPU利用率的文件远程复制到主节点的指定路径；4)主节点使用指令awk指令读取各节点的CPU利用率，设定每个阶段并行计算时间为TD，根据运算时间TD、算法复杂度、每个节点处理器性能、内核数目及CPU利用率，分别计算每个节点在单位TD时间段内能够完成的计算数据量，根据计算的值为每个节点分配TD内的数据量，由此保证各节点都能在TD时间内完成该阶段的计算任务，将分配好的数据依次保存到指定路径文件中；5)使用远程复制指令scp，将分配好的数据文件依次下发到各从节点；6)主节点执行程序运行指令，使各节点同时开始计算时间为TD的并行计算任务；7)TD时间的并行计算任务完成后，各节点将本阶段运行结果保存；8)判断总的计算是否完成，如未完成，返回步骤2)继续下一次动态任务分配；如完成，执行步骤9)；9)主节点将保存在各个计算节点的数据通过scp指令读回主机，输出最终结果，退出并行计算。