[发明专利]一种三维场景重建中散乱纹理的剔除方法和系统

权利要求书

1.一种三维场景重建中散乱纹理的剔除方法，其特征在于，包括：

基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；

结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息;

其中，错误的候选散乱纹理信息进行判定的方法，包括以下步骤：

获取重建的三维场景模型，并采用三角网格表征三维场景模型；

获取采集的多个视角的影像集合及对应的位置信息；

将三角网格中的每个三角面根据位置信息的投影矩阵依次投影到影像集合的每张影像上，获取影像上可见的三角面合集；

其中，三角面在影像上的可见性利用投影产生的深度图进行判断，深度图进行判断的方法为：选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合；

根据影像集合判断三角面所对应场景的类别信息的方法包括：

根据三角面在对应的可视影像集合中的每张影像上投影位置处所对应的识别信息，统计标记为目标纹理特征的影像张数；

当标记为目标纹理特征的影像张数与影像集合的比值小于设定阈值时，则判定标记的纹理特征的影像为错误的候选纹理；否则三角面所对应的场景是正确的候选纹理；

判定错误的候选散乱纹理信息时，还包括对每个三角面的类别进行校正，每个三角面的类别校正方法，包括：

根据三角面在影像中的投影位置，并结合影像中所标记的纹理特征的标记框范围，对属于同一纹理特征区域的三角面进行聚类；

对每个纹理特征区域标记框中聚类所包含的三角面的类别信息进行统计，统计计数最多的作为当前聚类的类别；

校正当前聚类的类别中所对应的三角面的场景类别信息；

错误目标纹理的剔除方法，包括：

获取每个三角面对应的一组可视的影像集合；

根据三角面在影像集合中的投影位置处的颜色得到一组候选的纹理信息集合；

基于纹理特征与所在影像的背景颜色差异，剔除候选纹理集合中颜色差异较大的候选纹理；

使用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。

2.如权利要求1所述的三维场景重建中散乱纹理的剔除方法，其特征在于，所述标记散乱纹理信息的方法，包括以下步骤：

获取预先标记好的纹理样本数据；

将获取的纹理样本数据输入深度学习网络框架进行训练；

利用训练好的深度学习模型分别对获取的影像数据的影像块进行目标纹理的识别，得到影像块中散乱纹理的位置框信息；

将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。

3.如权利要求2所述的三维场景重建中散乱纹理的剔除方法，其特征在于，所述深度学习网络框架训练至损失值曲线趋于稳定时，深度学习模型接近收敛，完成深度学习网络框架的训练。

4.如权利要求3所述的三维场景重建中散乱纹理的剔除方法，其特征在于，所述深度学习网络框架训练时，还包括：

获取三维场景重建所需的影像数据；

将获取的单张影像数据裁切成若干矩形块的影像块；

将裁切的影像块输入训练好的深度学习模型，对输入的影像块分别进行纹理特征的识别。

5.一种三维场景重建中散乱纹理的剔除系统，其特征在于，所述三维场景重建中散乱纹理的剔除系统采用权利要求1-4中任意一项所述三维场景重建中散乱纹理的剔除方法对三维场景重建中散乱纹理进行全自动剔除；所述三维场景重建中散乱纹理的剔除系统，包括：

纹理标记模块，用于基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；

错误纹理判定模块，用于结合多视角影像对错误的候选散乱纹理信息进行判定；以及

错误纹理剔除模块，用于将错误的纹理从影像的候选纹理中删除，使用剩余正确的候选纹理进行纹理映射，以得到三维场景重建结果。

6.如权利要求5所述的三维场景重建中散乱纹理的剔除系统，其特征在于，还包括：

标记框生成模块，用于将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。