[发明专利]基于GPU的深度神经网络模型训练方法、装置和计算机设备

权利要求书

1.一种基于GPU的深度神经网络模型训练方法，其特征在于，所述方法包括：

在深度神经网络模型首次训练时，将各隐藏层对应的输出数据压缩至GPU主存存储，得到压缩后的输出数据和所述GPU的主存余量；

当所述GPU的主存余量未达到预设余量阈值时，获取所述输出数据的稀疏程度值；

当所述稀疏程度值大于预设稀疏程度阈值时，将所述稀疏程度值对应的隐藏层确定为需要将对应的输出数据进行压缩的隐藏层；

根据所述需要将对应的输出数据进行压缩的隐藏层，确定所述各隐藏层中需要将对应的输出数据进行压缩的隐藏层，作为第一隐藏层；

根据所述第一隐藏层，对所述第一隐藏层对应的输出数据压缩并存储至所述GPU主存后，获取所述GPU主存的第一余量；

当所述第一余量未达到所述预设余量阈值时，获取所述压缩后的输出数据占用所述GPU主存的时间比重；

当所述时间比重小于预设时间比重阈值时，将所述时间比重对应的隐藏层确定为不需要将对应的输出数据进行压缩的隐藏层；

根据所述不需要将对应的输出数据进行压缩的隐藏层，确定所述第一隐藏层中需要将对应的输出数据进行压缩的隐藏层，作为初步隐藏层；

迭代训练所述深度神经网络模型时，根据所述初步隐藏层，将所述初步隐藏层对应的输出数据压缩至所述GPU主存存储，得到所述GPU主存的初步余量，直至所述初步余量达到所述预设余量阈值；

当所述初步余量达到所述预设余量阈值时，确定需要将对应的输出数据压缩至所述GPU主存存储的最终隐藏层，根据所述最终隐藏层进行训练，以得到训练好的深度神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述输出数据包括特征映射；所述在深度神经网络模型首次训练时，将各隐藏层对应的输出数据压缩至GPU主存存储，包括：

在深度神经网络模型首次训练过程的前向传递过程中，在所述各隐藏层计算生成对应的所述特征映射后，将所述特征映射作为下一隐藏层的输入数据参与前向传递计算，将所述特征映射压缩至所述GPU主存存储。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述深度神经网络模型首次训练过程的反向传递过程中，在完成所述各隐藏层对应的解压缩步骤后，获取所述解压缩步骤的开始时间并存储；

在深度神经网络模型下一次训练过程的反向传递过程中，根据所述解压缩步骤的开始时间，采用预解压缩的方式预先将前向传递过程中存储的压缩后的特征映射进行解压缩。

4.根据权利要求3所述的方法，其特征在于，所述根据所述解压缩步骤的开始时间，采用预解压缩的方式预先将前向传递过程中存储的压缩后的特征映射进行解压缩，包括：

根据所述解压缩步骤的开始时间，确定所述反向传递过程的节点到达当前隐藏层的时间；

根据所述时间，在基于反向传递算法的训练过程中，同时对所述当前隐藏层的压缩后的特征映射进行并行式预解压缩。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述输出数据的稀疏程度值小于所述预设稀疏程度阈值的对应隐藏层取消压缩编码操作，并释放掉所述对应隐藏层压缩和解压缩的计算资源。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一隐藏层，对所述第一隐藏层对应的输出数据压缩并存储至所述GPU主存后，获取所述GPU主存的第一余量，包括：

根据所述第一隐藏层，对所述第一隐藏层对应的输出数据压缩并存储至所述GPU主存后，监测所述GPU主存的剩余存储容量，获得所述GPU主存的第一余量。

7.根据权利要求1所述的方法，其特征在于，所述当所述第一余量未达到所述预设余量阈值时，获取所述压缩后的输出数据占用所述GPU主存的时间比重，包括：

当所述第一余量未达到所述预设余量阈值时，监测所述第一隐藏层对应的输出数据占用所述GPU主存的时间占比，获得所述压缩后的输出数据占用所述GPU主存的时间比重。