[发明专利]基于偏微分算子的等变3D卷积网络的3D形状图像分类方法

说明书

本发明公布了一种基于偏微分算子的等变3D卷积网络模型的3D形状图像分类方法，利用偏微分算子对卷积核进行参数化建模，对于3D旋转群和各卷积层的特征域求解得到等变卷积核，建立等变3D卷积网络模型PDO‑e3DCNN；PDO‑e3DCNN的输入为3D形状，输出为3D形状的预测分类，用于3D形状分类与识别视觉分析。本发明方法能够有效处理具有方向特征的图片数据，并且往往可以用更少的参数，在数据集上达到更低的3D形状图像分类错误率。

技术领域

本发明属于模式识别、机器学习、人工智能技术领域，涉及3D形状分类方法，具体涉及一种基于偏微分算子的等变3D卷积网络模型的3D形状图像分类方法。

背景技术

在过去的几年中，卷积神经网络(CNN)模型已成为用于图像识别任务的主要机器学习方法。与全连接网络相比，采用CNN处理图像的一个显着优势是它们是平移等变的：先将图像平移然后通过若干个卷积层得到的特征图与先将原始图像通过卷积层然后再平移得到的结果相同。换句话说，每一层都保持了平移对称性，即等变性。同样，等变性带来了权重共享，通过它可以更有效地使用参数。然而，普通的CNN只能对平移群等变，而不能对其他变换等变，如旋转变换群。

为了在用CNN提取特征时，能够保持更多的对称性，Cohen和Welling通过直接旋转卷积核，提出了群等变卷积网络(G-CNN)，它对于四折旋转变换群是等变的。为了探究更一般的等变性，Cohen和Welling提出了一种名为Steerable CNNs的理论，它将特征定义为特征域，而特征域的性质是它在群作用下的变换方式，是由给定的群表示所决定的。事实上，G-CNNs是Steerable CNNs的一个特例，因为当使用正则特征域时，Steerable CNNs会退化为G-CNNs。但是，他们提出的网络依然只能对四折旋转变换群等变。为了利用更多对称性，Weiler和Cesa进一步将Steerable CNNs的理论扩展到了欧几里得群E(2)及其子群，提出E2CNN。E2CNN是目前最一般的旋转等变的2D卷积神经网络，因为它可以处理所有常用的2D旋转群及其群表示。

对于3D情况，旋转等变性更为重要，因为旋转变换是不可避免的：即使3D物体是直立摆放的，仍然可能存在绕着竖直轴旋转的变换，更不用说一些3D数据甚至没有固有的方向，例如分子数据。此外，现在关于3D CNN的工作很少，因为3D CNN需要较大的计算量和存储空间。因此利用等变性减少计算量和存储量对于3D应用至关重要。

Worrall和Brostow将G-CNN的思想迁移到3D上，通过直接旋转3D卷积核设计出对于立方体群O等变的3D模型CubeNet。但是，由于一般的3D网格只存在立方体旋转对称性，因此CubeNet不能对更大的群等变，如二十面体群I，更不用说连续的旋转变换群SO(3)。事实上，CubeNet也只能利用正则特征域，而不能利用更一般的特征域，如商特征域。Weiler等人提出了SE3CNN，能够实现对连续群SO(3)的旋转等变。然而该方法只能用来处理连续群SO(3)的不可约表示，无法用于处理离散群。一些同期或后续的工作，如Tensor FieldNetwork(TFN)和LieConv，也只能处理连续群SO(3)，无法将离散群的情况也囊括进来。

综上所述，目前的等变3D模型都只能处理特定的3D旋转群和他们对应的群表示，而不能将所有常用的群和群表示涵盖在一个统一的框架下。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于偏微分算子(PDO)的等变3D卷积网络模型的3D形状分类方法，利用偏微分算子建模并设计得到等变的卷积网络模型，取名为PDO-e3DCNN(partial diffrential operator based equivariant 3D CNN)，用于高效的进行3D形状分类与识别等视觉分析。

本发明利用偏微分算子对卷积核进行参数化建模，对于给定的3D旋转群和各个卷积层所使用的特征域，我们可以求解得到符合条件的等变卷积核。我们将这些卷积层堆叠起来，得到一个等变的3D CNN模型，它的输入为3D形状，输出为3D形状的预测分类。