[发明专利]基于端边云协同的图像处理方法、装置、设备及介质

说明书

本公开提供了一种基于端边云协同的图像处理方法，可以应用于5G技术领域。该方法包括：在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。本公开还提供了一种基于端边云协同的图像处理装置、电子设备、存储介质和程序产品。

技术领域

本公开涉及5G技术领域，更具体地涉及一种基于端边云协同的图像处理方法、装置、设备及介质。

背景技术

随着5G技术的推广和物联网技术带来的“万物互联”，急剧增加的网络接入设备促使数据量的爆炸性增长，云计算面临着计算延迟、拥塞、低可靠性和安全攻击等挑战。边缘计算通过在靠近物或数据源的网络边缘侧，构建融合网络、计算、存储、应用核心能力的分布式开发平台，实现了将计算任务下沉到网络边缘，可以一定程度上解决云计算的不足。同时，人工智能已被认为是处理大规模数据的有效方法，因此人工智能算法和边缘计算的融合成为趋势，被称作边缘智能。

移动互联网的蓬勃发展，使得在便携式设备上为用户提供多种类服务成为可能，图像处理等技术的应用平台从PC端逐渐扩展到移动端。充足的计算资源、时间资源和存储资源，是保证模型性能的关键。因此，部署在移动端的图像处理模型需具有占用空间小、准确率高以及实时性好的特点。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：目前，云计算架构和边缘计算架构在处理移动端图像业务时面临诸多挑战，现有的神经网络模型无法同时满足低资源消耗和高精度，而移动端的计算能力和存储空间往往是有限的，且时间消耗过将严重降低客户体验。因此直接在资源有限的移动端设备上部署现有模型无法满足业务需求。

发明内容

有鉴于此，本公开提供了一种基于端边云协同的图像处理方法、装置、设备及介质。

本公开的一个方面提供了一种基于端边云协同的图像处理方法，包括：在云端数据中心根据预设模型切割点，将训练好的神经网络模型切分为第一部分模型和第二部分模型，将第一部分模型和第二部分模型分别部署于终端设备和边缘服务器；响应于终端设备向云端数据中心发送的图像处理请求，第一部分模型将图像处理请求经过初步处理得到中间结果，第二部分模型将中间结果经过二次处理生成推理结果；云端数据中心查询推理结果对应的实时信息，并将实时信息返回至终端设备。

根据本公开的实施例，终端设备包括移动端设备，移动端设备包括移动物联网设备。

根据本公开的实施例，预设模型切割点根据至少一个预设性能指标来综合确定，其中：预设性能指标包括第一部分模型尺寸、数据在终端设备与边缘服务器之间传输的带宽消耗、完成一次图像处理请求的时延或图像处理准确率。

根据本公开的实施例，方法还包括：终端设备收集在预设时间范围内返回的实时信息；根据收集的图像处理请求和图像处理请求对应的实时信息，调整预设模型切割点或神经网络模型的参数。

根据本公开的实施例，神经网络模型包括轻量级神经网络模型，轻量级神经网络模型包括Mobilenet-v1网络模型、Mobilenet-v2网络模型、Mobilenet-v3网络模型、ShuffleNet-v1网络模型或ShuffleNet-v2网络模型。

根据本公开的实施例，神经网络模型在云端数据中心通过以下方式训练得到：预先收集终端设备发送的图像处理请求，作为样本数据；将样本数据输入到神经网络模型中，得到输出数据；将输出数据重新输入到神经网络模型进行训练迭代；重复将输出数据重新输入到神经网络模型进行训练迭代的步骤，直至输出数据满足预设图像处理要求时，停止训练迭代，得到训练好的神经网络模型。