[发明专利]立体视觉虚拟图像空洞填补方法

权利要求书

1.立体视觉虚拟图像空洞填补方法，其特征在于，包括以下步骤：

S1:构建一个包括场景线索提取网络和纹理重建网络组成的框架模型；

S2:对该框架模型进行端对端空洞填补训练，得到空洞填补框架网络；

S3:把需要修复的立体合成图和空洞掩膜放入空洞填补框架网络中进行修复得到生成图像。

2.根据权利要求1所述的立体视觉虚拟图像空洞填补方法，其特征在于：所述步骤S1中场景线索提取网络基于对提取的场景图层分布图进行预测并生成定向场景影响度分布图；

所述纹理重建网络是包括生成器网络和判别器网络组成的生成对抗网络，所述生成器网络用于融合定向场景影响度分布图并将其作为场景软特征约束来进一步优化最终填补空洞后的立体合成图像，所述判别器网络用于对生成图像的质量进行判断。

3.根据权利要求2所述的立体视觉虚拟图像空洞填补方法，其特征在于：所述场景线索提取网络和纹理重建网络中的生成器网络为编码解码型网络结构，包括编码模块和解码模块；所述编码模块下采样两次，中间依次连接八个扩张卷积层；所述解码模块上采样两次；所述纹理生成网络中的判别器由五个卷积层堆叠而成。

4.根据权利要求2所述的立体视觉虚拟图像空洞填补方法，其特征在于，所述的步骤S2对该框架模型进行端对端空洞填补训练，得到空洞填补框架网络，具体包括如下步骤：

S21、将有空洞的立体合成图像、空洞掩模图像及提取出的场景图层分布图输入到场景线索提取网络中得到定向场景影响度分布图；

S22、将有空洞的立体合成图像、空洞掩模图像及定向场景影响度分布图输入到纹理重建网络的生成器网络中得到生成图像；

S23、将生成图像、空洞掩膜图像和作为真值的无空洞的立体合成图像作为判别器网络的输入；

S24、交替训练纹理生成网络中的生成器网络和判别器网络，当生成器网络的损失函数和判别器网络的损失函数趋于稳定后得到最终的立体合成图像的空洞填补框架网络。

5.根据权利要求4所述的立体视觉虚拟图像空洞填补方法，其特征在于：所述生成器网络的损失函数为：

L_G＝L_G1+L_G2；

L_G1＝λ_conL_con；

L_G2＝λ_advL_adv+λ_percL_perc+λ_styleL_style；

其中，L_G为生成器网络的损失函数；L_G1为主损失函数；L_G2为辅助损失函数；L_con为内容损失函数；L_perc为感知损失；L_style为风格损失；L_adv为对抗损失；λ_con,λ_adv,λ_perc,λ_style为平衡因子。

6.根据权利要求4所述的立体视觉虚拟图像空洞填补方法，其特征在于：所述判别器网络的损失函数为：

L_D＝-[E_y～P(Y)[logD(y,M_h)]+E_x～P(X)[log(1-D(G(x,M_h),M_h))]]]；

其中，L_D为判别器网络的损失函数；x为有空洞的立体合成图像；y为作为真值的无空洞立体合成图像；M_h为二值化的空洞掩模矩阵；1为空洞区域；0为其它区域；y～P(Y)为真值图像从P(Y)分步中采样取得；x～P(X)为真值图像从P(X)分步中采样取得。