[发明专利]神经网络训练方法、装置、电子设备及存储介质

说明书

本公开提供了一种神经网络训练方法、装置、智能行驶方法、设备、电子设备及存储介质。本公开对待剪裁神经网络进行过度剪裁，得到一个比目标神经网络的网络规模小的过剪裁神经网络，之后通过在过剪裁神经网络中对检测精度的影响大的第二网络层中增加通道，来得到目标神经网络，本公开不需要训练一个大神经网络，节省了时间和计算资源，同时本公开不需要进行多轮的通道剪裁，只需要对检测精度的影响大的第二网络层中增加通道，单次迭代就能够得到目标神经网络，进一步节省了时间和计算资源，提高了神经网络的剪裁效率。

技术领域

本公开涉及自动驾驶、神经网络技术领域，具体而言，涉及一种神经网络训练方法、装置、智能行驶方法、设备、电子设备及计算机可读存储介质。

背景技术

在自动驾驶中，由于车载设备上存储和计算资源有限，神经网络压缩或神经网络剪裁技术已经越来越重要。目前的压缩算法一般是首先训练一个参数量大、耗时长的大神经网络，之后在对大神经网络进行剪裁，生成满足检测精度、运行耗时要求以及能够在车载设备上部署的神经网络。

上述神经网络压缩或神经网络剪裁方法存在如下问题：训练大神经网络时消耗了大量的时间和计算资源，同时，对大神经网络进行剪裁的时候，为了保证剪裁得到神经网络的精度，往往需要不止一轮的通道剪裁，尤其是通道的剪枝率较高时，更是需要进行多伦的通道剪裁，不仅消耗了大量的时间和计算资源，还降低了神经网络剪裁的效率。

发明内容

本公开实施例至少提供一种神经网络训练方法、装置，以及智能行驶方法、设备。

第一方面，本公开实施例提供了一种神经网络训练方法，包括：

获取待剪裁神经网络，以及目标神经网络的目标网络参数信息；

分别对所述待剪裁神经网络中的多个第一网络层中的通道进行剪裁，得到过剪裁神经网络；所述过剪裁神经网络的总参数量和/或运行耗时小于所述目标网络参数信息中的总参数量和/或运行耗时；

分别确定所述过剪裁网络中每个第二网络层对所述过剪裁神经网络的检测精度的影响程度信息；

基于所述目标网络参数信息和每个第二网络层对应的所述影响程度信息，增加至少一个第二网络层中的通道，得到目标神经网络。

该方面，对待剪裁神经网络进行过度剪裁，得到一个比目标神经网络的网络规模小的过剪裁神经网络，之后通过在过剪裁神经网络中对检测精度的影响大的第二网络层中增加通道，来得到目标神经网络，该方面不需要训练一个大神经网络，节省了时间和计算资源，同时该方面不需要进行多伦的通道剪裁，只需要对检测精度的影响大的第二网络层中增加通道，单次迭代就能够得到目标神经网络，进一步节省了时间和计算资源，提高了神经网络的剪裁效率。

在一种可能的实施方式中，分别对所述待剪裁神经网络中的多个第一网络层中的通道进行剪裁，得到过剪裁神经网络，包括：

获取过剪裁尺度信息；所述过剪裁尺度信息包括以下至少一项：过剪裁参数量、过剪裁耗时；

基于所述目标网络参数信息和所述过剪裁尺度信息，确定剪裁网络参数信息；所述剪裁网络参数信息包括以下至少一项：所述过剪裁神经网络的总参数量、所述过剪裁神经网络的运行耗时；

基于所述剪裁网络参数信息，分别对所述待剪裁神经网络中的多个第一网络层中的通道进行剪裁，得到过剪裁神经网络。

该实施方式，利用过剪裁尺度信息，对待剪裁神经网络进行过度剪裁，能够得到一个比目标神经网络的网络规模小的过剪裁神经网络，对该网络规模小的过剪裁神经网络进行训练，能够减少训练时间，节省计算资源。

在一种可能的实施方式中，所述基于所述目标网络参数信息和所述过剪裁尺度信息，确定剪裁网络参数信息，包括：