[发明专利]一种边端协同深度学习计算加速系统及方法

说明书

本发明涉及一种边端协同深度学习计算加速系统及方法，所述系统包括至少一个终端设备(1)和至少一个边缘服务器(2)，所述终端设备(1)被配置为：在进入至少一个所述边缘服务器(2)的服务范围的情况下，基于自身第一配置信息和所述边缘服务器(2)的第二配置信息确定深度学习模型的层间分区和/或层内分区的策略；所述边缘服务器(2)被配置为：响应于推理请求信息，执行所述深度学习模型的层间分区和/或层内分区的策略以进行协同推理。本发明采用基于工作负载的随机森林方法预测DNN模型执行时间，预测结果更加准确。

技术领域

本发明涉及深度学习技术领域，尤其涉及边端协同深度学习计算加速系统及方法。

背景技术

随着机器学习应用规模的不断增加，越来越多的图像分析问题使用深度学习模型(DNN)来解决，例如基于ResNet-50的工件曲面识别、基于Faster R-CNN的蒙皮分析、基于3D-R2N2的3D扫描、基于Pix2VoX的三维重构等应用。另一方面，由于移动设备和嵌入式设备的发展，上述基于深度学习的应用程序部署在终端设备变得越来越普遍。然而，虽然嵌入式和移动设备中的计算资源不断变得更加强大和节能，但是将计算密集型的DNN应用推向终端设备，对于终端设备的计算和存储性能而言依旧是一项巨大挑战。

一些研究通过云端卸载来解决DNN推理加速的问题。整个DNN会卸载到远程云端服务器，当终端设备需要使用DNN推理的时候，会把收集的原数据发送到云端，由云端负责整个推理过程。但是使用这种方案时，终端设备收集的私有数据需要完整的发送给云端，将会导致数据隐私泄漏。此外由于原数据的数据量大，从终端设备发送原数据到远程云服务器，会带来相当大的传输时延。

随着5G的发展，边缘服务器节点和雾节点逐渐普及，例如基站部署的服务器、家庭网关等等。这些边缘服务器节点为服务范围内的终端设备提供了可用的计算和存储资源。因此在此基础上，一些研究提出通过终端设备与边缘服务器协同的方式卸载DNN分区来加速推理过程。首先，这些方法忽略了多个终端设备竞争边缘服务器时，通过二元方程训练的回归模型预测DNN的层执行时间是不准确的缺陷。其次，因为多个终端设备对边缘节点的资源的竞争，导致使用一个边缘节点作为卸载对象时，DNN推理加速时间反而会增大。

例如，公开号为CN110309914A的中国专利公开了一种基于边缘服务器与移动端设备协同的深度学习模型推理加速方法，提出结合模型分割与模型精简，通过训练与使用回归模型准确地估算深度学习模型的网络层在边缘服务器以及在移动端设备的运行时延，以此搜索出符合时延需求的退出点以及分割点，相较于传统的基于云数据中心的方法和直接在设备部署的方法，该方法不仅能实现在移动端设备上的深度学习模型高效与低时延推理，同时能够针对时延与准确率之间的权衡给出一个满足时延需求的深度学习模型推理方案。但是，该发明的缺陷在于：

第一，简单的两分区的方式主要集中在计算量依据层顺序分布呈现规律升高或降低的模型上，例如VGG、AlexNet等这些模型的典型表现是在多层卷积层之后连接全连接层，计算量在模型结构上表现为前半部分较高，后半部分较低的形式，切分点往往只需要分布在卷积层的后几层或全连接层的前几层。然而对于许多由blocks组成的模型，例如NiN模型中由四个blocks组成，并且模型中所有的全连接层被1×1卷积层代替；Inception模型中包含InceptionA，InceptionB，InceptionC blocks，每个blocks由多个并列卷积层组成。这些模型的计算量按照层顺序呈现不均匀分布，简单的两分区切分，不能很好地平衡边缘服务器与终端设备的计算量。尤其是在负载大的边缘服务器上，多分区能够更细粒度的利用节点的资源。

第二，通过二元方程训练的回归模型预测得到的DNN层执行时间是不准确的。

第三，简单的迭代算法可以用来寻找一个切分点，但针对多分区情况时，由于层配置复杂，切分点位置集合空间大，迭代算法不能找到最优的切分点位置集合。