[发明专利]一种实时三维大场景多对象实例分割的方法

说明书

本发明提供一种实时三维大场景多对象实例分割的方法，包括：S1：通过传感器扫描场景得到的RGB图和深度图构建三维几何模型；S2：通过基于多任务学习的三维卷积神经网络提取所述三维几何模型的三维特征；S3：从所述三维特征中检测物体。全面地利用了丰富的三维信息，实例分割的准确度更高。利用了三维空间中物体无遮挡、无尺度不确定性的属性，提出体积项和空间项，进一步提高准确度。通过采用稀疏卷积神经网络并对卷积网络的计算的加速，可以达到实时运行的性能。

技术领域

本发明涉及三维模型处理技术领域，尤其涉及一种实时三维大场景多对象实例分割的方法。

背景技术

三维模型的语义分割和物体检测是计算机视觉和机器人领域的重要问题。三维语义分割的目标是从三维场景中识别并定位物体，并为三维点云中的每一个点判断其所属的物体类别。把三维语义分割和三维物体检测结合起来的技术称为三维实例分割。三维实例分割要求算法不仅可以判断每一个点所属的类别，同时还可以区分同一类别中的不同物体。

现有的方法分为两类。第一类是基于二维实例分割神经网络的方法。这类方法利用较为成熟的二维卷积神经网络，在不同的二维视角下进行实例分割，并将分割结果投影到三维空间中，对于重叠的区域对结果进行投票或使用CRF等方法，最终得到三维的实例分割结果。第二类方法是直接采用三维卷积神经网络。这类方法利用Sparse ConvolutionalNetworks或PointNet++等三维特征提取器，并采用传统二维实例分割的网络结构，构建三维实例分割模型。

以上两种方法都有各自的弊端。对第一种方法，从三维模型投影到二维视角的过程中，不光损失了几何信息，全局信息，还会造成物体的遮挡或残缺，因此实例分割的精度较差。对于第二类方法，现有的方法没有有效地利用三维场景地内在属性，即相对与二维图像来说，三维模型不存在物体遮挡和尺度不确定性。除此之外，现有的方法由于计算效率不足，无法实现实时计算。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种实时三维大场景多对象实例分割的方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种实时三维大场景多对象实例分割的方法，包括如下步骤：S1：通过传感器扫描场景得到的RGB图和深度图构建三维几何模型；S2：通过基于多任务学习的三维卷积神经网络提取所述三维几何模型的三维特征；S3：从所述三维特征中检测物体。

优选地，通过构建稀疏卷积层来构建所述三维卷积神经网络。

优选地，构建稀疏卷积层包括如下步骤：S21：将所述传感器的点云按照三维坐标分割为若干个M*M*M的方格，M代表每个所述方格的边长；S22：判断每个所述方格内是否存在点云，若存在点云则为有效方格，保留；若不存在点云则为空的方格，舍弃；S23：对所有所述有效方格并行执行稀疏卷积。

优选地，使用图形处理器对所有所述有效的方格并行执行稀疏卷积，具体包括：所述有效方格中有N个三维点，输入通道数为I，输出通道数为O，V是卷积核的空间体积,那么一层稀疏卷积操作需要的参数矩阵大小为I*O*V；将所述输入通道数和所述输出通道数以K为大小进行拆分，每个所述图形处理器线程负责计算K个输入通道与K*K*V的参数矩阵进行卷积得到K个输出通道。