[发明专利]一种实时三维大场景多对象实例分割的方法

权利要求书

1.一种实时三维大场景多对象实例分割的方法，其特征在于，包括如下步骤：

S1：通过传感器扫描场景得到的RGB图和深度图构建三维几何模型；

S2：通过基于多任务学习的三维卷积神经网络提取所述三维几何模型的三维特征；

通过构建稀疏卷积层来构建所述三维卷积神经网络；

构建稀疏卷积层包括如下步骤：

S21：将所述传感器的点云按照三维坐标分割为若干个M*M*M的方格，M代表每个所述方格的边长；

S22：判断每个所述方格内是否存在点云，若存在点云则为有效方格，保留；若不存在点云则为空的方格，舍弃；

S23：对所有所述有效方格并行执行稀疏卷积；

S3：从所述三维特征中检测物体；

包括：

S31：对所述三维几何模型进行预分割，得到超体素；

S32：将得到超体素和三维特征一起输入迭代算法，将相似度最高的两个超体素合并，直到每个超体素都代表一个完整的物体。

2.如权利要求1所述的实时三维大场景多对象实例分割的方法，其特征在于，使用图形处理器对所有所述有效方格并行执行稀疏卷积，具体包括：所述有效方格中有N个三维点，输入通道数为I，输出通道数为O，V是卷积核的空间体积,那么一层稀疏卷积操作需要的参数矩阵大小为I*O*V；将所述输入通道数和所述输出通道数以K为大小进行拆分，每个所述图形处理器线程负责计算K个输入通道与K*K*V的参数矩阵进行卷积得到K个输出通道。

3.如权利要求1所述的实时三维大场景多对象实例分割的方法，其特征在于，所述三维卷积神经网络包括：

下采样部分，包含一系列卷积层、批标准化层、激活层和下采样层；其中，所述下采样层的步长为2，卷积核大小为3；

上采样部分，包含一系列卷积层、批标准化层、激活层和上采样层；其中，所述上采样层步长为2，卷积核大小为3的反卷积层；

所述上采样部分和所述下采样部分是对称的且级联；在每一个分辨率层面上，将所述下采样层中的特征拼接到所述上采样层的特征中；

所述上采样层输出的特征随后被输入多个不同的线性层中，所述线性层对应不同的网络任务项。

4.如权利要求3所述的实时三维大场景多对象实例分割的方法，其特征在于，所述三维卷积神经网络使用多任务学习的方式同时优化所述网络任务项，所述网络任务项包括：

空间项：输出每个体素到其所属物体中心的位移向量；

嵌入项：为每个所述体素估计一个嵌入向量，隐式地表征其所属的物体以及物体的种类；

互相关项：输出所述空间项和所述嵌入项的置信度；

体积项：对每个所述体素，估计其所属物体的大小；

语义分割项：输出每个所述体素的语义标签得分。

5.如权利要求4所述的实时三维大场景多对象实例分割的方法，其特征在于，所述空间项、所述互相关项、所述体积项的损失函数为逻辑回归损失函数；

所述语义分割项的损失函数是交叉熵损失函数；

所述嵌入项的损失函数如下：

其中，代表第c个物体实例的平均嵌入值，S_i代表第c个物体实例中第i个体素所对应的嵌入值，Lse为嵌入项对应的损失项；Lvar表示同一物体内嵌入向量的方差；Ldist表示不同物体内的嵌入向量之间的差异；Lreg是正则化损失；δv和δd为参数；Lvar和Ldist两项分别用来保证属于相同物体的体素嵌入项相互接近，并让属于不同物体的体素嵌入项距离较远。

6.如权利要求1所述的实时三维大场景多对象实例分割的方法，其特征在于，所述迭代算法基于如下公式计算相似度：

其中，S为语义项，D为空间项，σ_s,σ_d分别为分别为语义项、空间项的互相关项，r的定义如下:

其中，O为体积项，Oi表示第i个物体的体积项；|Ω|代表当前超体素的体积，|Ωi|表示第i个物体内的当前超体素的体积；r的值作为迭代算法终止的判断条件：如果r大于1，则还有所述超体素需要被合并。

7.如权利要求6所述的实时三维大场景多对象实例分割的方法，其特征在于，所述超体素的所述相似度w大于0.5时才能合并；且，所述超体素合并之后得到的所述物体需要满足0.3r2。