[发明专利]一种面向异构存储的Spark任务动态迁移方法和系统

说明书

本发明属于计算机技术领域，尤其涉及一种面向异构存储的Spark任务动态迁移方法和系统。该方法，在任务的执行过程中，当存储有其操作数据的固态硬盘节点存在空闲的计算资源时，将该任务动态地迁移至该固态硬盘节点上，利用固态硬盘节点高速读写的特性，仍可加速任务的执行，提升Spark应用程序的执行效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种面向异构存储的Spark任务动态迁移方法和系统。

背景技术

Spark是目前产业界广泛使用的高效的大数据计算框架，将Spark部署到高性能计算集群中可有效地提升Spark的大数据处理效率。高性能计算集群(High PerformanceComputing Cluster，HPC Cluster)是通过对不同的计算节点配置不同的存储设备，搭建了基于固态硬盘(Solid State Drives，SSD)和机械硬盘(Hard Disk Drive，HDD)混合的分布式文件系统和计算集群。高性能计算集群综合利用SSD的高速读、写和高吞吐率的特性以及HDD的大容量、廉价的特性，在保证存储和计算成本的前提下，实现了集群存储和计算能力的有效提升。为了实现系统的容错功能，集群通常采用一块数据存储多个副本的策略，即集群的管理系统通常会合理地搭配SSD和HDD的使用，其中典型的使用策略是将数据的一个副本存储在SSD节点，其它副本存储在HDD节点。如图6所示，其展示了现有的基于SSD和HDD混合存储的高性能计算集群的拓扑结构。

当前Spark的任务分配策略是基于操作数据的位置，将任务分配到存储有该任务操作数据的计算节点，将任务和数据部署到同一计算节点，从而避免了数据的远程读取，实现了数据的本地处理。任务操作的数据可能同时存储在SSD节点和HDD节点，由于存储有该任务操作数据的SSD节点计算资源忙碌等原因，往往会导致该任务无法被分配到理想的SSD节点上，只能被分配到存储有操作数据的HDD节点或没有存储器操作数据的其他节点；同时，在任务的执行过程中，其理想的SSD节点可能已经存在空闲的计算资源，但是现有的任务迁移方法并没有针对理想的SSD节点的空闲资源执行任务迁移操作。因此，现有的Spark任务迁移方法，由于需要进行数据的远程或本地磁盘读取操作一直在HDD节点执行，会带来巨大的网络和I/O延迟，从而严重影响Spark应用程序的执行效率。

发明内容

本发明所要解决的技术问题为提供一种面向异构存储的Spark任务动态迁移方法和系统，旨在解决优化现有的Spark应用程序的执行效率低的问题。

为解决上述技术问题，本发明是这样实现的，本发明提供了一种面向异构存储的Spark任务迁移方法，所述方法包括：

按照存储设备的存储特征将集群中所包含的节点分别保存至固态硬盘节点变量和机械硬盘节点变量；

监测集群中正在执行的任务中是否存在满足预设条件的目标任务，所述预设条件是指需要远程访问数据、任务完成进度小于预设阈值、且操作数据存储在已配置的非本地节点中；

若监测到目标任务，则从已存储所述目标任务的操作数据的节点中，确定空闲资源满足对应任务的需求，且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并确定所述目标任务中与所述待迁移的目标节点对应的任务作为待迁移的任务；

将所述待迁移的任务迁移至对应的所述待迁移的目标节点。

进一步地，所述监测集群中正在执行的任务中是否存在满足预设条件的目标任务，所述预设条件是指需要远程访问数据、任务完成进度小于预设阈值、且操作数据存储在已配置的非本地节点中具体包括：

监测集群中正在执行的任务完成进度和任务的操作数据是否存储在本地节点；

提取任务的操作数据存储在非本地节点、且任务完成进度小于预设阈值的任务保存至可迁移任务变量；