[发明专利]基于规范等变转换算子神经网络的三维物体形状分类方法

说明书

本发明公布了一种基于规范等变转换算子的神经网络的三维物体形状识别方法，创建用于实现模型规范等变性的等变转换算子，再将全局坐标系投影到局部坐标系，并基于规范等变性实现模型的旋转不变性，用于高效地进行三维物体分类与识别视觉分析。本发明构造并训练基于规范等变转换算子的神经网络的三维物体形状识别模型GET，模型的输入是以三维空间下的二维流形结构表示的3D物体，输出为该3D物体的预测类别，能够高效地进行3D图像数据中物体形状的分类与识别等视觉分析，提升物体形状分类的精确度和效率。

技术领域

本发明属于模式识别、机器学习、神经网络、深度学习、人工智能、计算机图形学技术领域，涉及物体形状分类方法，具体涉及一种基于规范等变转换算子神经网络的三维物体形状分类方法。

背景技术

近些年来，转换算子(Transformer)几乎已经主导了自然语言处理领域的相关算法。它的一个显著的优点是在给定的上下文中注重最相关的部分。由于其卓越的性能，目前有很多工作已经将Transformer应用到了其他机器学习领域中，比如计算机视觉和图像处理应用中。

流形学习技术是一项将传统的神经网络模型应用到复杂多样的数据结构的一项机器学习技术。现有的一些工作将三维图像中的曲面数据通过进行二维投影，或者通过体素格点来表示，这些方法的缺点是计算量过大。另外一些工作直接将卷积定义在全面上，这样的好处对三维图像中曲面的形变处理更鲁棒。但这类方法的主要难点在于，曲面上每个点的邻域没有一个标准的坐标系，使得近邻点的参数化无法统一，从而影响神经网络模型的性能。

为解决邻域坐标系的不确定性，人们提出了等变深度学习技术。当前应用广泛的卷积神经网络(CNN)的优越性很大程度上是由平移等变性带来的，这使得研究者将这种特性拓宽到其他操作上，如旋转操作等。Cohen等人将规范等变性(gauge equivariance) 应用到流形学习上，de Haan等人提出了基于各向异性卷积的规范等变神经网络，通过修改图卷积网络的各向异性的卷积核使其满足规范等变条件，成功实现了可直接应用于网格化的基于流形的规范等变CNN的物体形状分类技术。他们在神经网络中设计了一种新的满足规范等变条件的激活函数，称为RegularNonlinearity，基于傅里叶变换实现了规范等变性。但引入傅里叶变换带来了额外的计算资源消耗；此外，de Haan等人提出的三维形状识别分类方法是基于卷积的，相当于对邻域内所有的点施加相同的注意力，忽略了基于内容的注意力权重的影响，识别精度较低。

发明内容

为了克服现有规范等变物体识别技术在旋转不变方面和注意力机制引入上的不足，本发明提供一种新型的基于规范等变转换算子的神经网络的三维物体形状识别方法，模型取名为GET(Gauge Equivariant Transformer)，用于高效地进行3D图像数据中物体形状的分类与识别等视觉分析。

本发明利用等变性作为数学指导，分别设计了模型的输入处理和转换算子层(Transformer层)，使得整个三维物体形状识别模型GET同时具有空间旋转不变性以及规范不变性。整个模型的输入是以一个三维空间下的二维流形结构表示的3D物体，输出为该3D物体的预测类别。

本发明提供的技术方案是：

一种基于规范等变转换算子的神经网络的三维物体形状识别方法，设计实现等变的转换算子实现模型的规范等变性，设计实现全局坐标系投影到局部坐标系的方法并结合规范等变性实现模型的旋转不变性，用于高效的进行三维物体分类与识别等视觉分析，包含以下步骤：

一)对以流形结构表示的3D物体进行网格(mesh)化，生成mesh数据；

具体实施时，3D物体数据可利用3D相机获取或直接采用已有的3D物体数据集。3D物体mesh数据是由一组点、边、面组成的3D物体的一种离散数据表示。对于一个包含无穷个点的流形，我们采用最远点采样(Farthest Point Sampling) 算法得到一组给定数量的点，并根据这些点形成一个三角网格(triangle mesh)。