[发明专利]一种边端协同深度学习计算加速系统及方法

权利要求书

1.一种边端协同深度学习计算加速系统，包括至少一个终端设备(1)和至少一个边缘服务器(2)，其特征在于，

所述终端设备(1)被配置为：

在进入至少一个所述边缘服务器(2)的服务范围的情况下，基于自身第一配置信息和所述边缘服务器(2)的第二配置信息确定深度学习模型的层间分区和/或层内分区的策略；

所述边缘服务器(2)被配置为：

响应于推理请求信息，执行所述深度学习模型的层间分区和/或层内分区的策略以进行协同推理。

2.根据权利要求1所述的边端协同深度学习计算加速系统，其特征在于，所述终端设备(1)被配置为：

基于预先训练完成的随机森林模型预测深度学习模型各个层的推理执行时间，基于ILP算法决策层间切分点位置的集合，最小化所述终端设备和边缘服务器之间的推理总时间；

基于强化学习算法和层内分区策略，决策层内切分点位置的集合，最小化所述边缘服务器之间的推理时间。

3.根据权利要求1或2所述的边端协同深度学习计算加速系统，其特征在于，所述深度学习模型的所述层间分区策略至少包括：

将深度学习模型的神经网络层按照层间粒度切分为至少两个分区。

4.根据权利要求1～3任一项所述的边端协同深度学习计算加速系统，其特征在于，所述深度学习模型的层内分区的策略至少包括：

采集若干所述终端设备和边缘服务器在执行深度学习模型数据集过程中的至少一个神经网络层的执行数据，训练所述神经网络层的执行时间的随机森林模型。

5.根据权利要求1～4任一项所述的边端协同深度学习计算加速系统，其特征在于，所述层间切分点位置决策方式至少包括：

基于随机森林模型预测深度学习模型的神经网络层在终端设备和边缘服务器上的执行时间；

基于深度学习模型的各个神经网络层的输出数据和边缘服务器的通信带宽数据确定中间特征向量在终端设备和边缘服务器之间的传输时间，

基于推理执行时间与中间特征向量的传输时间的和来确定分区卸载的总时间，

基于ILP算法求解总时间最小的最优解，确定最优层间切分点位置集合。

6.根据权利要求1～5任一项所述的边端协同深度学习计算加速系统，其特征在于，所述深度学习模型的层内分区的策略至少包括：

按照深度学习模型的神经网络的至少一层的内部结构切分，使得被切分后的至少两个分区并行地部署在对应的边缘服务器(2)上。

7.根据权利要求1～6任一项所述的边端协同深度学习计算加速系统，其特征在于，所述深度学习模型的层内分区的方式至少还包括：

基于特征图高度维度网格切分卷积层，

基于神经元数量切分全连接层。

8.一种边端协同深度学习计算加速方法，其特征在于，所述方法至少包括：

在进入至少一个边缘服务器(2)的服务范围的情况下，终端设备(1)基于自身第一配置信息和所述边缘服务器(2)的第二配置信息确定深度学习模型的层间分区和/或层内分区的策略；

响应于推理请求信息，所述边缘服务器(2)执行所述深度学习模型的层间分区和/或层内分区的策略以进行协同推理。

9.根据权利要求8所述的边端协同深度学习计算加速方法，其特征在于，所述方法还包括：

基于预先训练完成的随机森林模型预测DNN层推理执行时间，基于ILP算法决策层间切分点位置集合，最小化所述终端设备和边缘服务器之间的推理总时间；

基于强化学习算法DDPG和层内分区策略，决策层内切分点位置集合，最小化所述边缘服务器之间的推理时间。

10.一种与边缘服务器协同深度学习计算的终端设备，其特征在于，所述终端设备被配置为：

在进入至少一个所述边缘服务器(2)的服务范围的情况下，基于自身第一配置信息和所述边缘服务器(2)的第二配置信息确定深度学习模型的层间分区和/或层内分区的策略；其中，

基于预先训练完成的随机森林模型预测DNN层推理执行时间，基于ILP算法决策层间切分点位置集合，最小化所述终端设备和边缘服务器之间的推理总时间；

基于强化学习算法DDPG和层内分区策略，决策层内切分点位置集合，最小化所述边缘服务器之间的推理时间。