[发明专利]一种面向异构服务器结构的图计算负载均衡方法

说明书

本发明公开了一种面向异构服务器结构的图计算负载均衡方法：根据所有计算节点在一次超级步中处理图计算负载所用的时间，主控节点计算出本次超级步中所有处理时间的变异系数，若连续两次超级步中的变异系数大于预设的阈值，则判定各计算节点在运行时的图计算负载不均衡，需要在本次超级步结束后对计算节点上的图计算负载重新分配，否则所有计算节点将继续执行下次超级步。本发明方法利用顶点迁移来平衡每次超级步中计算节点间的处理时间，从而有效地降低每次超级步中所有计算节点的同步开销，缩短图计算任务的运行时间，并提高各计算节点运行时的资源利用率。

技术领域

本发明属于图计算技术领域，更具体地，涉及一种面向异构服务器结构的图计算负载均衡方法。

背景技术

分布式图计算技术被广泛应用在社交网络分析、自然语言处理、网页信息检索等众多领域，其组成体系通常包含三个部分：图算法、图数据集和图计算系统。大多数图计算系统采用BSP(Bulk Synchronization Barrier)计算模型，在此模型下，图计算过程通常被分为若干次迭代，每一次迭代又称为一个超级步。在每次超级步中，激活顶点根据在上次超级步中接收的消息更新顶点数值，并将更新后的数值以消息的形式发送给对应的邻居顶点。相邻的两次超级步间设有同步障碍，以保证所有激活顶点在下次超级步开始前已经完成当前超级步中的数值更新操作。

现有的图计算系统出于负载均衡的考虑，在计算节点导入图数据集阶段为所有计算节点分配数量相当的顶点。然而，当前的数据中心或集群通常采用异构的服务器结构，这使得不同处理能力的计算节点在每次超级步中的处理时间不同，即处理能力强的计算节点在每次超级步中总是比处理能力弱的计算节点优先完成本地计算，并在同步障碍处等待同步。此外，在处理图计算任务的过程中，分布在各计算节点上的激活顶点数会发生变化，因而各计算节点在每次超级中的负载量也会动态变化。以上两个原因，导致大多数图计算系统很难保证各计算节点在每次超级步中的处理时间是均衡的。

针对处理图计算任务时计算节点间负载不均衡的问题，少数图计算系统(例如Mizan和GPS)提出采用顶点迁移的方法来均衡每次超级步中各计算节点上的负载。然而，这些图计算系统通常利用顶点级的参数(例如顶点在一次超级步中接受的消息数)来拟定迁移计划，从而导致迁移效果不理想，计算节点间的负载在顶点迁移后仍然不均衡。另外，这些图计算系统通常采用较敏感的迁移策略，即使检测到轻微的负载不均衡也会执行顶点迁移，导致顶点迁移的开销(如迁移时间、资源占用等)远大于负载均衡的收益。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种面向异构服务器结构的图计算负载均衡方法，用于均衡分布式图计算系统中所有计算节点在每次超级步中的处理时间，从而降低计算节点在每次超级步中的同步开销，缩短图计算任务的运行时间，解决在现有的异构服务器结构下处理图计算任务时存在的计算节点负载量不均衡和处理时间不同步问题。

本发明提出的一种面向异构服务器结构的图计算负载均衡方法，包括如下阶段：

检测不均衡阶段：在图计算任务运行时，主控节点监测每次超级步中各计算节点的处理时间，并根据本次超级步中所有计算节点处理时间的变异系数和用户预设的阈值，判断各计算节点上的图计算负载是否均衡；所述变异系数为反映一组数据值离散程度的参数；对于一个图算法，如果用户不知道其运行时的特征，即用户对于运行时激活顶点个数的变化未知，则阈值默认为0.10；而对于稳定的图算法，即运行时激活顶点的个数不变，则应该设定一个小于0.10的阈值；而对于不稳定的图算法，即运行时激活顶点的个数持续变化，则应该设定一个大于0.10的阈值；本发明默认阈值可以设为0.10，对于不同图算法的具体阈值选取则不在本发明的讨论范围内。

拟定迁移计划阶段：各计算节点确定各自需要迁移的顶点，主控节点确定这些顶点对应的迁入节点；