[发明专利]基于偏微分算子的等变3D卷积网络的3D形状图像分类方法

权利要求书

1.一种基于偏微分算子的等变3D卷积网络模型的3D形状图像分类方法，利用偏微分算子对卷积核进行参数化建模，对于3D旋转群和各卷积层的特征域求解得到等变卷积核，建立等变3D卷积网络模型PDO-e3DCNN；PDO-e3DCNN的输入为3D形状，输出为3D形状的预测分类，用于3D形状分类与识别视觉分析；包括以下步骤：

1)通过3D相机采集3D形状数据，将这些3D形状数据分为训练样本和测试样本，并进行体素化；

采集得到的每个3D形状数据为一组三维坐标，表示该形状存在的位置坐标；

2)根据步骤1)中的3D形状数据具有的旋转对称性，确定3D形状数据对应的等变群和特征域；由三维旋转变换组成的等变群称为3D旋转群；特征域为各个卷积层包含的特征域；

21)3D旋转群包括离散群和连续群S0(3)；其中离散群包括克莱因四元群V、四面体群T、正方体群0和正十二面体群I；

22)特征域：

对于离散群，特征域包括标量特征域、正则特征域和商特征域，对应的群表示均为置换矩阵；对于连续群，特征域包括标量特征域和不可约特征域；当然，我们也可以将这些基础特征域组合起来构成更一般的特征域；

3)构建基于偏微分算子的等变卷积网络模型，包括：

31)构造等变的卷积核：

首先，将一个卷积操作Ψ建模为多个偏微分算子的线性组合，表示为式(4)：

其中，系数矩阵K’和K分别表示输出层和输入层的特征通道数；对于任意群G中的元素g，系数矩阵A_i满足下列线性约束：

其中，

其中，是P的Moore-Penrose逆，表示克罗内克积；

为求解该线性约束，式(4)进一步表示为式(8)：

其中，I_K表示K阶单位矩阵；vec(B)表示向量化操作，该操作将B的列堆叠成一个列向量；

通过求解式(8)得到B_i的解空间；B_i的解空间是基础解系的参数化的线性组合；

根据式(5)从参数化后的B_i中提取A_i再代入式(3)，得到参数化的卷积操作Ψ；

再将Ψ中所含的所有偏微分算子离散化得到即最终用在离散数据上的3D卷积核；

32)设计等变的批量正则化BN和非线性激活函数，使得BN层和非线性层保持等变性；

对于离散群，使用逐点的激活函数；BN层需对每个基础特征域共享权值；对于连续群S0(3)，选用等变BN层和带门限的非线性激活函数；

33)构造PDO-e3DCNN：

根据所设定的等变群G和每层设定的特征域，计算求解出相应的等变卷积Ψ再进行离散化得到将多个堆叠起来即得到卷积网络模型PDO-e3DCNN；

每两个之间插入等变的BN层和非线性层用于增强模型的表达能力和加速模型训练；

将最后一个输出层的特征域设定为标量特征域，并进行空间上的平均池化，得到不变的特征；

将得到的不变特征最后接上一个全连接层进行3D形状分类；

4)用训练样本对构造的PDO-e3DCNN进行训练；包括：

初始化卷积层参数和全连接层参数；

采用反向传播算法进行等变3D CNN模型训练，得到训练好的PDO-e3DCNN模型；

5)利用步骤4)训练好的PDO-e3DCNN模型，对3D形状测试样本进行分类识别，得到预测的形状分类标签，由此实现3D形状的分类识别。

2.如权利要求1所述基于偏微分算子的等变3D卷积网络模型的3D形状图像分类方法，其特征是，步骤22)中，具体地，特征域f在旋转变换g下的结果由对应的群表示ρ(g)决定，即表示为式(1)：

[π(g)f](x)＝ρ(g)f(g^-1x) 式(1)

其中，ρ(g)是一个K×K的矩阵，K表示输入特征的通道数，π(g)表示群作用；群表示ρ(g)满足对于任意群G中任意两个元素g，h，ρ(gh)＝ρ(g)ρ(h)。