[发明专利]三维神经网络处理方法及图像处理方法、系统和存储介质

说明书

本发明公开了三维神经网络处理方法及图像处理方法、系统和存储介质，属于神经网络以及图像处理技术领域。本发明的一种基于分块循环矩阵的三维神经网络处理方法，通过构建分块循环矩阵模型、计算加速模型、全频域模型，克服以往剪枝等模型压缩方法存在的访存、计算不规则等问题，提出使用分块循环矩阵对三维神经网络3D CNN进行压缩，并且进一步利用快速傅立叶变换FFT加速计算，在保持模型结构规则的前提下，取得了显著的存储和计算压缩效果。在此基础上，引入频域内的激活、批归一化和池化操作，进一步消除由于快速傅立叶变换FFT带来的频繁的时域/频域切换开销，从而实现了全频域计算，进一步降低了3D CNN模型推理时的计算开销。

技术领域

本发明涉及三维神经网络处理方法及图像处理方法、系统和存储介质，属于神经网络以及图像处理技术领域。

背景技术

随着大数据时代的来临和计算机运算能力的提高，二维神经网络即2D CNN在图像分类方面取得了最先进的精度。然而，在处理视频等高维数据时，基于图像的2D CNN无法对其中的时间信息和运动模式进行建模，因此无法取得令人满意的效果。为了实现对视频等高维数据的精确分类，研究人员提出使用三维卷积来捕获视频等数据中的时空信息。2010年，Ji等人首次提出了三维卷积神经网络，其在相邻的图像帧上执行三维卷积以提取时间和空间维度上的特征。随后，Tran等人提出了一个现代意义上的深度架构C3D，C3D相对于以往的三维神经网络即3D CNN具有更深的层，故而可以在大规模数据集上进行学习并取得最优的结果。此后，3D CNN在视频分析、三维几何数据分析、三维医学图像诊断方面取得了巨大的成功。然而，与算法性能提升相对应的是3D CNN显著增加的模型尺寸和计算量。例如，在网络结构相同的情况下，3D ResNet34的参数数目和计算量分别为63.5M和36.7GFLOPs，是2D ResNet34(参数数目21.5M，计算量3.5GFLOPs)的2.95倍和10.49倍。相比于2D CNN，3DCNN额外增加了时间维度以捕获时域特征，因而存在更为庞大的存算开销。因此，如何高性能、低功耗地部署3D CNN，是目前学术界和工业界的研究热点。

为了解决这个问题，研究者开始在算法层面采用模型压缩方法对3D CNN的存储和计算开销进行优化，目前常用的模型压缩方法包括剪枝、量化、低秩分解以及快速算法。剪枝通常寻找一种评判指标来判断参数的重要性，将不重要的参数剪去，以减少模型的冗余，其往往能带来一个较高的压缩比。然而，此类方法通常伴随着微调、重训练等过程，显著加重了三维卷积神经网络的训练负担，除此之外，剪枝还会造成非零元素的不规则分布，引起访存不规则、计算负载不均衡等问题，对硬件实现不友好。参数量化可以有效降低计算资源消耗、片上存储开销和片外访存的压力，但量化过程往往会造成巨大的精度损失，且其对计算强度的压缩效果并不明显。

因此量化一般作为一种辅助的压缩方法出现。低秩分解使用多个低秩矩阵来逼近高维张量，常见的分解方式包括CP分解、SVD分解、Tucker分解以及Tensor-Train分解，低秩分解可以显著降低模型推理时的计算复杂度，但其涉及计算成本高昂的分解操作，且需要大量的重训练来达到收敛，对本已非常耗时的3D CNN训练来说是无法接受的。

可用于加速卷积的快速算法包括快速傅立叶变换FFT和Winograd，此类算法先通过某种变换(快速傅立叶变换FFT或者Winograd变换)将特征图和权重变换到另一个域，然后在另一个域上进行计算，最后再将计算结果变换回原先的域。然而，前述方法可以有效降低模型的计算量，但却无法减少模型的参数数目。此外，Winograd和快速傅立叶变换FFT算法受卷积尺寸、步长的影响较大，例如两者都无法加速1×1×1卷积，而这在现代网络中占据了主要计算量，如3D ResNet、3D MobileNet。

总而言之，上述方法仍未妥善解决3D CNN的处理效率问题，使其在能效/资源受限场景下的部署仍面临严峻的性能和能效挑战。

发明内容