[发明专利]多层神经网络模型的训练和应用方法、装置及存储介质

说明书

本公开提供一种多层神经网络模型的训练和应用方法、装置及存储介质。对多层神经网络模型中的至少一个卷积层中的滤波器通道进行扩展，利用通道数扩展后的滤波器执行卷积运算，从而在简化网络模型的同时使网络模型的性能不下降。

技术领域

本公开涉及一种针对多层神经网络的建模领域，尤其涉及一种使多层神经网络模型的结构简化并使性能与常规技术相当的方法。

背景技术

近年来，基于建模的多层神经网络模型已被广泛地应用在计算机业务中，诸如图像分类、目标检测和图像分割等。为了提高业务精度，网络模型被设计得越来越深(层数多)和越来越宽(每层的输出特征图数量多)，例如，VGGNet、ResNet和Xception等网络模型。由于这些网络模型有计算量大、处理速度慢的缺点，因此，很难应用在资源受限的设备中，例如，智能手机、机器人设备等。目前，在简化网络模型的结构和保证网络模型的性能方面有以下几种方式。

1.网络剪枝法(Network Pruning)。该方法通过将滤波器中的部分参数设置为0而使滤波器的权重变稀疏、或直接去除部分滤波器来减少滤波器数量，从而达到简化网络模型的目的。网络剪枝法虽然能够有效地简化网络模型，但是难以实现精确的超参数设定来确定卷积层中的哪些滤波器是可被去除的，这使得网络剪枝法的实际应用受限。

2.参数量化法(Parameter Quantization)。该方法通过降低滤波器中参数的表示精度来减少网络模型的存储空间并提高运算速度。例如，将32bit表示的全精度量化为1bit表示的二值精度。该方法可以减少网络模型占用的存储空间，但参数的表示精度降低会使得网络模型的性能变差。

3.低阶近似法(Low-rank Approximate)。该方法将以大尺度矩阵表示的滤波器参数分解为多个以小尺度矩阵表示的矩阵参数，从而使网络模型变小。但是，该方法的压缩比率有限，并不能带来显著的计算量下降。

4.高效的网络设计。通过优化卷积算子，设计特定的高效网络模型，从而达到简化网络模型的目的，例如局部二值卷积神经网络(LBCNN)模型或瓶颈设计等。以LBCNN模型为例，将常规的一次卷积过程分解为两次卷积过程，第一次利用稀疏且固定的二值卷积滤波器进行卷积，第二次利用可学习的且参数尺度小(1×1)的滤波器进行卷积。由于第一次卷积过程中的二值卷积滤波器中的参数是固定的，网络模型中的各层可共用一个二值卷积滤波器，并且第二次卷积过程中的滤波器的矩阵尺度小，因此，网络模型占用的存储空间整体变小了。但是，由于常规的一次卷积过程被分解为两次卷积过程，LBCNN的深度反而增大了，不利于网络模型训练过程的收敛。

5.三元权重法(Ternarized Weights)。该方法通过残差扩展(ResidualExpansion)技术，在卷积层和全连结层上使用不同的阈值α引入更多的滤波器，有效提升网络模型的精度。但是，这样做会在网络模型中引入了更多的三元权重的滤波器，导致网络模型的大小明显增加。

以上描述的各方法有各自的缺陷，都无法在简化网络模型和保持性能方面达到较好的平衡。

发明内容

本公开旨在提供一种对传统的多层神经网络模型进行优化处理的方案，期望在简化神经网络模型和保持性能方面达到较好的平衡。

根据本公开的一方面，提供一种多层神经网络模型的应用方法，所述应用方法包括：针对多层神经网络模型中的至少一卷积层，扩展该卷积层的滤波器通道数；在前向传播时，基于应用要求对应的数据，利用通道数扩展后的滤波器进行所述卷积层中的数据运算；在执行完前向传播后输出应用结果。