[发明专利]一种面向实时数据处理应用的边缘协同存储方法

说明书

本发明公开了一种异构边缘计算环境下面向实时数据处理应用的边缘协同存储方法，该方法首先确定邻居服务器集合；然后为所有边缘服务器计算每个应用对应的模型数据相对于存储在云端的存储效益，生成初始存储效益矩阵，该存储效益主要体现在时延的降低上；从存储效益矩阵中寻找具有最大存储效益的存储候选方案；如果对应的边缘服务器还有足够的空间容纳模型数据，则进行存储并更新其剩余存储空间与受本次存储操作影响的其他模型数据的存储效益，否则将该效益值设置为无穷小，不再考虑该存储候选方案；重复上述两个步骤，直到所有边缘服务器的存储空间都不足以容纳新的模型数据为止。

技术领域

本发明涉及边缘计算平台及边缘服务器管理领域，尤其涉及一种异构边缘计算环境下面向实时数据处理应用的边缘协同存储方法。

背景技术

随着移动互联网、物联网等技术的进一步发展，手机和可穿戴设备等智能终端快速普及，成为日常生活中不可或缺的一部分。与此同时，运行在智能终端上的实时数据处理应用层出不穷。比如，智能语音助手能够理解用户发出的语音指令，了解用户习惯；智能相机应用能够智能识别拍摄场景，优化相机参数；在这类应用中，一张图片的识别、一个场景的渲染、一次语音文本转换等操作均可视为一个实时数据处理任务。这些任务拥有计算密集、数据密集和时延敏感三大特性，执行这些任务需要额外的模型数据输入，如预先训练好的深度学习模型和渲染材料等。

为了保证终端应用的同时提升服务质量，学术界提出了边缘计算，通过给予网络边缘设备一定的计算和存储能力，形成“端—边缘—云”三层的系统架构，在网络的边缘提供通信和IT服务、存储和计算资源，以降低应用的处理延迟以及更有效地利用移动网络。这些具有一定计算、存储和通信能力的网络边缘设备被称为边缘服务器。相比于云服务器而言，在边缘计算模式下，边缘服务器离终端距离较近，终端和边缘服务器交互，可以获得更快的响应和更高的服务质量。

然而对于实时数据处理任务，边缘服务器不仅需要提供足够的计算资源，还需提供任务所需的模型数据，才能为终端提供相应的服务，而资源有限的单个边缘服务器往往无法存储所有的模型数据。由于可充当边缘服务器的设备多样化，故各边缘服务器的计算、存储能力可能都不相同从而导致在不同边缘服务器上的模型存储分布不均。传统方法中，当实时数据处理任务被迁移到与终端对应的边缘服务器计算时，若当前边缘服务器缺失相应模型，则需先从其他设备下载所需模型后才能进行任务处理。但是这在现有网络状态下很有可能因为超过截止期而导致大量任务失败。而更为有效的一种方法就是用计算的迁移来代替模型数据的迁移，将实时数据处理任务迁移到具有该应用对应的模型的边缘服务器上执行可以减少迁移的时延。

因此，在异构的边缘计算环境下，如何尽可能多而合理地在边缘服务器之间协同存储模型数据，尽可能满足实时数据处理任务的模型数据需求，对降低任务时延、最大化任务成功率、保证实时数据处理应用性能至关重要。

发明内容

发明目的：针对以上现有技术存在的问题，本发明提出了一种异构边缘计算环境下面向实时数据处理应用的边缘协同存储机制，着重解决在各边缘服务器存储能力不同的异构边缘环境下，对模型数据的协同存储问题。在给定的边缘服务器集合和模型数据集下，正确建立存储效益模型并设计合理的边缘层模型数据放置策略，降低模型数据对应任务在边缘服务器间迁移处理的代价。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种异构边缘计算环境下面向实时数据处理应用的边缘协同存储方法，该方法包括以下步骤：

(1)确定需要参与协同存储的边缘服务器集合，对各边缘服务器来说，集合中的其它边缘服务器即为其邻居服务器，云数据中心被认为是所有边缘服务器共同的邻居服务器，因为云数据中心是边缘层的补充，每个边缘服务器均可从云数据中心下载实时数据处理应用所需的模型数据或者迁移自身无法及时处理的任务，因此认为云数据中心是每个边缘服务器的邻居，故与边缘服务器相邻的各邻居服务器加上唯一的云数据中心构成邻居服务器集合，以此确定边缘服务器的邻居服务器集合；