[发明专利]边端协同的并发实时流式数据分析任务处理方法及设备

说明书

本发明公开了一种边端协同的并发实时流式数据分析任务处理方法及设备。所述方法包括以下步骤：基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选，确定实时流式数据分析任务的可选配置集合；根据实时流式数据分析任务的可选配置集合，基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略；根据确定的侧写策略以及执行策略执行实时流式数据分析任务。该方法通过在服务器站点分配较少资源用于实时流式数据分析任务各个配置的侧写过程，将节省下来的资源用于任务的执行过程，实现在较小的影响当前周期内的执行准确率的情况下，实现长期的准确率方面的优化。

技术领域

本发明属于边缘计算领域，具体是一种边端协同的并发实时流式数据分析任务处理方法及设备。

背景技术

随着人工智能技术的发展，实时流式数据处理成为信息获取的关键手段。一方面许多应用对于实时流式数据处理要求较低的时延，另一方面为了减少在广域网上传输大量元数据对于广域网造成的压力，实时流式数据分析任务越来越多的在靠近数据产生端的边缘站点上进行执行。对于实时流式数据分析任务来说，数据处理的采样周期越高，每次采样的采样率越高，数据处理得到的准确率就越高。由于边缘站点上的可用计算资源是有限的，当边缘站点上同时执行多个实时流式数据分析任务时，实时视频流的处理效果与处理时延成为需要进行权衡的两个方面。当一个实时流式数据分析任务的采样周期和每个采样周期中采样率较高时，其需要的处理时间就较多，很可能导致其他实时流式数据分析任务的处理产生排队，进而出现较高的时延。因而，当站点上同时运行着多条实时流式数据分析任务时，需要合理的为每个视频流选择合适的采样周期以及每个采样周期中的采样率(以下将实时流式数据分析任务中某一特定采样周期以及采样率的组合称为配置(Configuration)，其中最高采样周期以及最高采样率的组合称为黄金配置(GoldenConfiguration))，从而在保证各个实时流式数据分析任务达到各自最低准确率要求以及时延要求的情况下，系统总体的准确率达到最大。在对系统中运行的多条实时流式数据分析任务进行资源分配时，配置所对应的实时视频流分析的准确率信息是必须提前获得的，因此需要通过侧写的方法周期性的获取实时视频流分析各个配置所对应的准确率信息。侧写是指通过执行某一任务的子任务来预测任务完整执行的效果的技术，对于实时流式数据分析而言，侧写即是指通过短暂的执行流式数据分析的某一配置，对该配置接下来一段时间的分析准确率进行估计。

然而周期性的对实时流式数据分析的各个配置进行侧写本身会占用服务器站点上比较多的计算资源，如何平衡侧写过程和执行过程的计算资源，从而最大化实时流式数据分析任务的分析准确率，是当前迫切需要解决的问题。

发明内容

为了解决现有技术中的问题，本发明提出一种边端协同的并发实时流式数据分析任务处理方法，旨在为多个并发执行的实时流式数据分析任务确定侧写策略以及任务执行策略，以最大化总体执行准确率。

本发明的另一目的在于提供一种边端协同的并发实时流式数据分析任务处理设备。

为了达到上述发明目的，本发明采用以下技术方案：

第一方面，提出一种边端协同的并发实时流式数据分析任务处理方法，包括以下步骤：

基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选，确定实时流式数据分析任务的可选配置集合；

根据实时流式数据分析任务的可选配置集合，基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略；

根据确定的侧写策略以及执行策略执行实时流式数据分析任务。

进一步地，所述基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选，确定实时流式数据分析任务的可选配置集合包括：