[发明专利]一种消除自监督三维重建不确定性的方法

说明书

本发明公开了一种消除自监督三维重建不确定性的方法。该方法包括：以设定的第一损失函数为目标预训练深度学习三维重建模型，所述深度学习三维重建模型以参考视角和源视角组成的视角对图像为输入，第一损失函数基于光度立体一致性损失和深度光流一致性损失构建，该深度光流一致性损失表征源视角的像素及其在参考视角下的匹配点所形成的伪光流信息；以设定的第二损失函数为优化目标训练预训练的深度学习三维重建模型，所述第二损失函数通过估计预训练阶段的不确定性掩码构建，该不确定性掩码用于表征输入图像中的有效区域。本发明不需要标注数据并且克服了图像重建中的不确定性问题，提高了模型的精确度和泛化能力。

技术领域

本发明涉及图像三维重建技术领域，更具体地，涉及一种消除自监督三维重建不确定性的方法。

背景技术

多视图立体视觉(Multi-view Stereo，MVS)旨在从多视角图像及相机位姿中恢复出场景的三维结构信息。在过去几十年，传统的多视图立体视觉方法取得了巨大进展，但是人为设计的特征描述子在估计图像对的匹配关系时缺乏鲁棒性，很容易受到噪声或光照等因素的干扰。

近年来，研究者开始将深度学习方法引入MVS的流程中并实现了明显的性能提升，如MVSNet、R-MVSNet等。这些方法将图像匹配过程集成到一个端到端的网络，输入一系列多视角图像和相机参数，直接输出稠密的深度图。随后通过融合各个视角下的深度图还原整个场景的三维信息。但在实际应用中这些基于深度学习的MVS方法存在一个巨大的缺陷，即训练时需要大规模数据集。由于采集三维标注的数据成本高昂，限制了MVS方法的广泛应用。为了摆脱三维数据标注的限制，研究者开始更多地关注无监督或自监督的MVS方法。现有的自监督MVS方法主要是通过构建一个基于图像重建任务的代理任务实现网络的自监督训练，在这种方式中，为保证光度立体一致性假设，使用预测的深度图和其他视角图像所重建的某个视角图像应该保证与原图一致。

然而，在现有技术中，自监督MVS方法针对如颜色变化和物体遮挡等不确定因素产生的影响还缺乏有效的应对措施，从而影响了重建图像的质量。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种消除自监督三维重建不确定性的方法，该方法包括以下步骤：

步骤S1：以设定的第一损失函数为目标预训练深度学习三维重建模型，其中，所述深度学习三维重建模型以参考视角和源视角组成的视角对图像为输入，提取对应的深度图用于三维图像重建，所述第一损失函数基于光度立体一致性损失和深度光流一致性损失构建，该光度立体一致性损失表征重建图像与参考图像之间的差异，该深度光流一致性损失表征源视角的像素及其在参考视角下的匹配点所形成的伪光流信息；

步骤S2：以设定的第二损失函数为优化目标训练经预训练的深度学习三维重建模型，获得优化的三维重建模型，其中，所述第二损失函数通过估计预训练阶段的不确定性掩码构建，该不确定性掩码用于表征输入图像中的有效区域。

与现有技术相比，本发明的优点在于，为解决前景监督歧义的不确定性问题，采用跨视角光流与深度一致性约束来引入额外的匹配信息，以加强自监督信号的约束作用；为解决背景无效干扰的不确定性问题，利用自监督过程中估计的不确定性掩码与伪标签结合，有效滤除了可能引入错误监督信号的区域，从而改善了重建图像的质量。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是现有MVS技术中全监督训练与自监督训练的差异及不确定性示意图；

图2是根据本发明一个实施例的对MVS中全监督和自监督信号的不确定性进行可视化比较的示意图；

图3是根据本发明一个实施例的消除自监督三维重建不确定性的方法的流程图；