[发明专利]一种分布式计算平台中视频数据分布方法及装置

说明书

本发明实施例提供了一种分布式计算平台中视频数据分布方法及装置，上述方法包括：在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合，根据目标时长集合，如果第一时长与第二时长的时长比值，小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。基于上述处理，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。

技术领域

本发明涉及数据迁移技术领域，特别是涉及一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质。

背景技术

视频数据存储架构通常包含多个节点。由于各节点存储的视频数据量不同，随着视频数据处理的进行，各节点之间的负载的差异可能会越来越大，进而导致整个视频数据存储架构的负载严重不均衡。

为了解决上述问题，现有技术主要采用HDFS(Hadoop Distributed File System，称为分布式文件系统)作为视频数据的分布式存储方案。HDFS可以在视频数据处理过程中，将视频数据存储架构中负载较高的节点上的视频数据块迁移到负载较低的节点上进行处理，进而实现整个视频数据存储架构的负载均衡。

然而，各节点的视频数据处理能力可能各不相同，上述处理会造成将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上的情况，导致视频任务的处理效率低。

发明内容

本发明实施例的目的在于提供一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质，可以提高视频任务的处理效率。具体技术方案如下：

第一方面，为了达到上述目的，本发明实施例公开了一种分布式计算平台中视频数据分布方法，上述方法包括：

获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时间；

如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；

判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；

如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；

如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。

可选的，所述确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，包括：

针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；

将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；

将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。

可选的，所述分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，包括：