[发明专利]一种在GPU中并行处理视频压缩的动态任务迁移调度方法

说明书

本发明涉及一种并行处理视频压缩的动态任务迁移调度方法，该方法为：将需压缩的视频分配到各个GPU设备中开始工作；每隔一段时间T，服务器的host端记录下各个GPU设备的实时工作状态，负载信息以及耗能开销等统计信息；通过分析，系统决定是否需要对某些GPU设备中的任务进行动态迁移，若需要发生动态迁移，以视频中的每一帧为处理单元，识别、提取出GPU设备中的每一个工作项的底层硬件的计算状态，将其拷贝回服务器的host端，服务器端程序根据每个GPU的工作信息分析选择需要调度到的新GPU，该方法实时监控并且不断调整所有GPU设备的负载以及开销，能够实时提出一个有效可行的任务调度方案，提高系统的资源利用率以及系统中数据的吞吐率。

技术领域

本发明涉及并行计算和凸优化领域，尤其是涉及一种在GPU中并行处理视频压缩的动态任务迁移调度方法。

背景技术

随着视频压缩发展越来越迅速，基于压缩算法所特有的计算复杂度高、处理任务时间长等缺点在实际应用场景中越来越突出，尤其是在一定规模数据的应用场景中更为突出，如大规模城市监控视频处理、交互式视频平台存储服务等。图形处理器(GPU)最早被提出用于图像中各个像素点的处理，由于它的并行性高，在图像处理中有着巨大的优势。但随着并行技术的持续发展和计算市场的逐步完善，目前GPU已被广泛应用于各种视频压缩算法，比如ffmpeg算法，可支持在NVIDIA设备上处理。

但是，由于GPU内部计算状态的复杂性和硬件资源的独占性，使得算法开发者经常会遇到如下问题：

第一，负载容易导致分配不平衡。例如有多块GPU设备，其运算能力差距很大，但是由于静态很难预测程序的开销，大部分程序都是需要动态分配内存，因此为了保证使用的稳定性，只能倾向于资源分配到性能强的GPU中，从而造成资源的浪费；

第二，资源无法简单共享。多设备间或者多个节点间的设备无法做到共享；

第三，不具备合适的容错机制。由于所有的设备中运行的程序都无法进行即时的中断，无法即时保存状态，对于超大型的长时间计算，光依赖硬件的容错能力是远远不够的。而由于当前视频清晰度运来越高、帧率也不断提高，处理视频压缩的时长也越来越大。据统计，一个五个小时的4K视频压缩任务开销在二十分钟左右，如若仅仅依靠硬件的重启，整个运算将会重新被开始，开销花费巨大。

发明内容

本发明所要解决的技术问题是提供一种在GPU中并行处理视频压缩的动态任务迁移调度方法，该方法能够在并行处理视频压缩任务时，使GPU的负载分配达到平衡，GPU之间的资源能够共享，且视频压缩过程中具备容错机制，从而提高系统的资源利用率以及系统中数据的吞吐率。

本发明所采用的技术方案是，一种在GPU中并行处理视频压缩的动态任务迁移调度方法，该方法包括下列步骤：

(1)、根据大规模数据并行计算的预估模型，按照预估模型的分配方式将需压缩的视频任务分配到系统中的各个GPU设备中，并开始工作；

(2)、每隔一段时间T，服务器的host端记录下各个GPU设备当前的统计信息，服务器的host端根据当前的统计信息来计算出当前系统中每个GPU设备数据处理容量的最优解，并根据最优解来判断是否需要对其中的某些GPU设备中的任务进行动态迁移调度；

(3)、如果需要对GPU设备中的视频任务进行动态迁移调度，那么就以GPU设备中视频的每一帧为处理单元，识别并提取出GPU设备中的每一个work-item的底层硬件的计算状态信息，并将该计算状态信息拷贝回服务器的host端；

(4)、服务器的host端根据每个GPU设备的工作信息进行分析，然后选择出需要调度到的新GPU设备，并将步骤(3)中拷贝的计算状态信息移植到新GPU设备上，进而恢复当前计算任务。