[发明专利]面向深度神经网络的边缘计算方法

说明书

本发明提供了一种面向深度神经网络的边缘计算方法，属于边缘计算及深度学习领域。与现有的模型压缩方案以及模型分割中不进行分割点附近数据填充的方案相比，本发明由于对分割点附近的数据进行了数据填充，使得卸载至各边缘节点的特征图在进行相应层计算后，数据结果的拼接与未拆分情况下保持一致，不会产生精度损失。

技术领域

本发明属于边缘计算及深度学习领域，具体涉及一种面向深度神经网络的边缘计算方法。

背景技术

近年来，深度神经网络在图像处理、模式识别等方面的研究取得了突破性进展，其被应用于越来越多的物联网场景中。例如在无人机监视场景中，机载摄像头实时从周围环境中图像信息，同时运用图像识别或图像分类等技术对收集到的信息进行快速分析。而分析数据是一项非常耗费资源的时延敏感型、计算密集型任务，此类计算密集型任务通常具有时延要求和算力需求高的特点。执行此类任务的端设备通常是计算能力较弱的小型终端设备，诸如无人机、手机、小型嵌入式设备等，无法在规定的时延要求内完成任务。因此，在资源受限的端设备上部署时延敏感的计算密集型应用（如图像检测等）变得具有挑战性。

针对这一问题，传统方案采用云计算模型。在云计算模型中，整个神经网络被放置于计算资源近乎无限的云上，采集数据并最终接收结果的端设备将源数据直接发送到云中进行处理。但由于带宽等限制，这种方案会造成极高的通信延迟，从而导致应用处理时延无法满足用户的要求，还会带来额外的带宽成本。且由于数据都要被集中到第三方提供的云端服务器进行处理，对于部分与用户个人活动等相关的数据，可能会带来隐私泄漏的问题。目前国内外集中研究的端-云协同方案，将神经网络模型以层的粒度划分后部署在端与云上，包括SIGRAPH会议论文《NeuroSurgeon: Collaborative intelligence between thecloud and mobile edge》所述的NeuroSurgeon等，其根据神经网络每层的不同设备计算时延及输出数据传输时延，决策遍历以不同层为分割点的方案并寻找最优分割点。这类方案同样受限于端-云间网络通信延迟。基于这些挑战，边缘计算模型应运而生，这种计算模型通过靠近物联网设备和数据源的网络边缘设备来提供计算服务，由于边缘设备算力较高且网络带宽大等特点，边缘计算能够减少应用的端到端延迟并提高效率，还能减少端设备能耗，提供好的隐私保护。

现有基于边缘计算模型的深度神经网络推理研究集中在模型压缩与模型分割两个方面，模型压缩方法虽可降低网络推理时延，但会影响输出结果精度。在模型分割方式中，主要采用输入特征图水平空间分割与通道分割两种方式。通道分割将每一个卷积层的输入特征图拆分为多个子通道后进行卷积计算，这种方案由于每一层卷积层输出后的结果需要完全拼接，会带来额外的数据传输开销。在水平空间分割方式中，不存在上述问题，但若在将输入特征图分割后不进行分割点附近相关数据填充，会影响输出结果，造成精度损失。部分方案如（专利：一种面向图像处理的卷积神经网络垂直分割方法CN 112363844 A），其将连续卷积层中最后一层卷积层的输入特征图分割为连续的子特征图，并通过反推的方式获得第一个卷积层中子相应子特征图的坐标，在其分割过程中并未考虑边缘设备的异构性及端-边网络带宽环境。

发明内容

为了解决上述技术问题，本发明提出了一种面向深度神经网络的边缘计算方法，综合考虑了边缘设备的异构性及边端网络环境，并对分割后的输入特征图进行数据填充，保证了输出结果与未拆分方案的一致性。

为了实现上述目的，本发明采用如下技术方案：

一种面向深度神经网络的边缘计算方法，包括以下步骤：

步骤1：获取可用边缘设备中卷积层、激活层、池化层的计算时间-浮点运算数的线性回归方程；

步骤2：端设备将待计算的深度神经网络模型各层参数信息发送至各边缘设备，各边缘设备根据接收到的参数信息重建神经网络模型，并将自身不同层的计算时间-浮点运算数的线性回归方程中的算力、固有开销参数回传至端设备；