[发明专利]一种三维场景重建中散乱纹理的剔除方法和系统

说明书

本发明涉及测绘技术领域，具体涉及一种三维场景重建中散乱纹理的剔除方法和系统。该方法包括：基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息。本发明充分利用了深度学习方法的优势，识别影像数据中的目标纹理信息，并标记散乱纹理信息，保证了影像数据中纹理特征信息识别的准确性和高效性。在三维重建的纹理映射过程中，通过引入多个视角的影像信息进行错误纹理特征的综合判定，将错误的纹理特征从三维场景的候选纹理中删除，利用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。实现了散乱纹理的全自动剔除。

技术领域

本发明涉及测绘技术领域，具体涉及一种三维场景重建中散乱纹理的剔除方法和系统。

背景技术

基于影像的三维场景重建一直以来是摄影测量与计算机视觉中的热门研究话题。利用影像进行三维重建的方法可以直接从影像中获取目标对象的几何结构与纹理信息，所构建出的三维模型具有较高的逼真度。

近些年，随着无人机的广泛使用，基于无人机平台的摄影技术可以为多视图三维重建提供快速获取充足影像数据的条件，从而大大降低了多视图三维重建数据获取成本。因此，基于多视影像的三维场景的重建就变得更加的广泛。

尽管基于多视影像的三维重建方法具有许多的优点，然而该方法在实际的三维建模应用中仍然存在一些问题需要解决。例如，对于场景中树枝这类“细条状”的目标对象来说，由于通过影像密集匹配出来的点云密度和精度不够，导致重建出来的三维模型很容易出现缺失的情况，从而造成在纹理映射过程中由于遮挡检测不准确出现纹理映射错误的问题，例如：三维场景重建结果中“细条状”树枝模型缺失，三维场景重建结果中，导致散乱的树枝纹理映射到了路面和汽车上，这样整个重建出的三维场景看起来就很杂乱，视觉效果不佳。

因此，为了解决以上问题，通常需要人工的方式对重建后的三维场景模型进行纹理修复，但这个修复过程，往往需要花费大量的人力和物力，从而严重影响三维场景模型的重建效率。

发明内容

针对需要人工的方式对重建后的三维场景模型进行纹理修复，导致修复过程费时费力且严重影响三维场景模型的重建效率的问题，本发明实施例的目的在于提供了一种三维场景重建中散乱纹理的剔除方法和系统，针对三维场景重建中诸如散乱树枝纹理等进行全自动剔除，以降低三维场景重建过程中散乱树枝对重建结果质量的影响，减少人工修复模型的工作量。

为实现上述目的，本发明实施例提供了如下的技术方案：

第一方面，在本发明提供的一个实施例中，提供了一种三维场景重建中散乱纹理的剔除方法，包括以下步骤：

基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；

结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息。

在本发明提供的一些实施例中，标记散乱纹理信息的方法为：

获取预先标记好的纹理样本数据；

将获取的纹理样本数据输入深度学习网络框架进行训练；

利用训练好的深度学习模型分别对获取的影像数据的影像块进行目标纹理的识别，得到影像块中散乱纹理的位置框信息；

将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。

在本发明提供的一些实施例中，所述深度学习网络框架训练至损失值曲线趋于稳定时，深度学习模型接近收敛，完成深度学习网络框架的训练。

在本发明提供的一些实施例中，所述深度学习网络框架训练时，还包括：

获取三维场景重建所需的影像数据；

将获取的单张影像数据裁切成若干矩形块的影像块；