[发明专利]三维神经网络处理方法及图像处理方法、系统和存储介质

权利要求书

1.一种基于分块循环矩阵的三维神经网络处理方法，其特征在于，

包括以下内容：

利用预先构建的分块循环矩阵模型，使用分块循环矩阵表示神经网络的权重，对神经网络的全连接层或/和卷积层进行压缩，得到压缩后的全连接层或/和卷积层；

通过预先构建的计算加速模型，采用傅立叶变换，对压缩后的全连接层或/和卷积层进行加速计算，得到频域计算结果；

根据预先构建的全频域模型，选取频域算子，对频域计算结果进行频域内的激活、批归一化以及池化操作，从而完成基于分块循环矩阵的三维神经网络处理。

2.如权利要求1所述的一种基于分块循环矩阵的三维神经网络处理方法，其特征在于，

分块循环矩阵模型的构建方法如下：

第一步，设置N×N的矩阵A，用于表示循环矩阵；

第二步，构造矩阵A的元素，当且仅当其每一行元素都是上一行元素循环右移一个位置的结果，通过存储矩阵A的第一列元素表示整个矩阵A，第一列元素所构成的向量为循环矩阵的生成向量。

3.如权利要求2所述的一种基于分块循环矩阵的三维神经网络处理方法，其特征在于，

计算加速模型的构建方法如下：

根据循环卷积算法，对相乘的循环矩阵和任意向量进行加速；

循环矩阵为N×N的矩阵A；

向量为N×1的向量x；

循环卷积算法的计算公式如下：

A·x＝IFFT(FFT(a)⊙FFT(x))#(1)

其中，a是矩阵A的生成向量，FFT为快速傅立叶变换，IFFT为快速傅立叶逆变换，⊙表示元素级乘法。

4.如权利要求3所述的一种基于分块循环矩阵的三维神经网络处理方法，其特征在于，

全频域模型的构建方法如下：

根据频域算子的计算复杂度和精度损失，采用CReLU、CBN和CMaxPool作为频域算子，其表达式如下所示：

CReLU(a+bi)＝ReLU(a)+ReLU(b)

CBN(a+bi)＝BN(a)+BN(b)

CMaxpool(a+bi)＝Maxpool(a)+iMaxpool(b)

其中，ReLU、BN和MaxPool分别是实数域上的激活、批归一化和最大池化操作，a是实数域上的数值，b为虚数域上的数值。

5.如权利要求1所述的一种基于分块循环矩阵的三维神经网络处理方法，其特征在于，

对神经网络的全连接层进行压缩的方法如下：

步骤11，获取全连接层的权重矩阵W，权重矩阵W的尺寸为M×N；

步骤12，将尺寸为M×N的权重矩阵W划分为p×q个k×k的方阵W_ij；

p＝M/k，q＝N/k，若无法整除，则对W进行填充，直至整除为止；

步骤13，将方阵W_ij构建为循环矩阵，用于对神经网络的参数数目进行压缩。

6.如权利要求5所述的一种基于分块循环矩阵的三维神经网络处理方法，其特征在于，

对压缩后的全连接层进行加速计算的方法如下：

S11，根据循环矩阵，将全连接层的计算a＝W·x按照分块矩阵-向量乘法进行，其计算公式如下：

其中，a为输出特征向量，W是一个分块循环矩阵，x为输入特征向量；a_i为输出特征向量的子向量，W_ij为循环矩阵，x_j为输入特征向量的子向量；

S12，通过快速傅立叶变换FFT对分块矩阵-向量乘法进行加速，以降低全连接层的计算量，其计算公式如下：

S13，利用快速傅立叶变换FFT/快速傅立叶逆变换IFFT的线性性质，将快速傅立叶逆变换IFFT移至求和符号外，将快速傅立叶逆变换IFFT的调用次数由q减少为1，其计算公式如下：

其中，FFT为快速傅立叶变换，IFFT为快速傅立叶逆变换。