[发明专利]一种类Alexnet网络的模型训练方法和装置

权利要求书

1.一种类Alexnet网络的模型训练方法，其特征在于，包括：

采用第一图形处理单元GPU计算在类Alexnet网络下的第一梯度值和第二梯度值；

接收第二图形处理单元GPU发送的在所述类Alexnet网络下的第三梯度值；

依据所述第一梯度值和第三梯度值计算所述类Alexnet网络的第一模型参数；

接收所述第二图形处理单元GPU发送的在所述类Alexnet网络下的第四梯度值；

依据所述第二梯度值和第四梯度值计算所述类Alexnet网络的第二模型参数；

采用所述第一模型参数和第二模型参数训练所述类Alexnet网络的模型。

2.根据权利要求1所述的方法，其特征在于，所述类Alexnet网络由全连接层和卷积层组成，所述采用第一图形处理单元GPU计算在类Alexnet网络下的第一梯度值和第二梯度值的步骤包括：

采用第一图形处理单元GPU计算在所述全连接层下的第一梯度值和在所述卷积层下的第二梯度值。

3.根据权利要求2所述的方法，其特征在于，所述第一图形处理单元GPU包括第一计算队列，所述采用第一图形处理单元GPU计算在所述全连接层下的第一梯度值和在所述卷积层下的第二梯度值的步骤包括：

采用第一计算队列计算在所述全连接层下的第一梯度值和在所述卷积层下的第二梯度值。

4.根据权利要求3所述的方法，其特征在于，所述第一图形处理单元GPU还包括第一通信队列，所述第二图形处理单元GPU包括第二通信队列，所述接收第二图形处理单元GPU发送的在所述类Alexnet网络下的第三梯度值的步骤包括：

采用第一通信队列接收第二通信队列发送的第三梯度值；

所述接收所述第二图形处理单元GPU发送的在所述类Alexnet网络下的第四梯度值的步骤包括：

采用第一通信队列接收第二通信队列发送的第四梯度值。

5.根据权利要求4所述的方法，其特征在于，所述第二图形处理单元还包括第二计算队列，所述第三梯度值和所述第四梯度值分别通过如下步骤获得：

采用第二计算队列计算在所述全连接层下的第三梯度值；以及，

采用第二计算队列计算在所述卷积层下的第四梯度值。

6.根据权利要求1-5任一所述的方法，其特征在于，所述依据所述第一梯度值和第三梯度值计算所述类Alexnet网络的第一模型参数的步骤包括：

计算所述第一梯度值和第三梯度值的平均值，获得所述类Alexnet网络的第一模型参数。

7.根据权利要求6所述的方法，其特征在于，所述采用所述第二梯度值和第四梯度值计算所述类Alexnet网络的第二模型参数的步骤包括：

计算所述第二梯度值和第四梯度值的平均值，获得所述类Alexnet网络的第二模型参数。

8.根据权利要求1或2或3或4或5或7所述的方法，其特征在于，在采用第一图形处理单元GPU计算在类Alexnet网络下的第一梯度值和第二梯度值的步骤前，还包括：

判断网络是否为类Alexnet网络。

9.根据权利要求8所述的方法，其特征在于，所述网络包括m个结构层，所述判断网络是否为类Alexnet网络的步骤包括：

对所述网络进行预训练，获得每个结构层的计算时间和参数量；

根据所述计算时间和参数量，获得所述网络的计算总时间和总参数量；

按照预设传输顺序，逐层累加所述m个结构层的计算时间，分别获得截至第n层的计算时间之和；

当所述截至第p层的计算时间之和与所述计算总时间的比值满足第一预 设条件时，累加剩余m-p层的参数量，获得所述剩余m-p层的参数量之和；

判断所述剩余m-p层的参数量之和与所述总参数量的比值是否满足第二预设条件；

若是，则将所述网络划分为类Alexnet网络。

10.根据权利要求9所述的方法，其特征在于，所述将所述网络划分为类Alexnet网络的步骤包括：

将所述网络的前p层划分为类Alexnet网络的全连接层；

将所述剩余m-p层划分为类Alexnet网络的卷积层。