[发明专利]基于注意力机制与参考信息的新视角合成方法

说明书

本发明属于三维重建技术领域，涉及一种基于注意力机制与参考信息的新视角合成方法。现有的方法独立优化每个场景的表示，需要许多校准的视图和大量的计算时间，并且渲染出的图像丢失了纹理信息。本发明所述的方法构建一个泛化的神经辐射场（一种面向三维隐式空间建模的深度学习模型），通过注意力机制将相邻采样点的信息进行融合。采用本发明所述的方法，无需对每个场景进行优化，构建了一个通用的神经辐射场，当输入参考图像时，输出的新视角图像更加真实。

技术领域

本发明属于三维重建技术领域，具体涉及一种基于注意力机制与参考信息的新视角合成方法。

背景技术

随着人们生活水平的日益提高，机器人、城市地图、自主导航、虚拟现实/增强现实等领域的飞速发展，二维图像场景已经满足不了人们日益增长的需求，需要一种全新的视图合成和三维重建方法[朱方.3D场景表征—神经辐射场（NeRF）近期成果综述[J].中国传媒大学学报(自然科学版),2022,29(05):64-77.]。因此如何找到一种高效的新视角合成方法对于未来领域的发展是十分重要的。

对于新的视图合成任务，早期的工作是通过根据射线空间接近或近似几何计算的权重混合参考像素来完成的。最近，一些方法试图用可微渲染器从输入图像中构建显式可训练的3D表示，而不是估计外部3D代理几何，如体素、纹理网格和点云[徐风帆. 基于神经辐射场优化的三维建模方法[D].杭州电子科技大学,2022.]。然后，从构建的三维图像中合成新的视图。NeRF[Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf:Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM, 2021, 65(1): 99-106]通过将连续场景表示为mlp中的5D辐射场，并有效地优化神经辐射场，以呈现具有复杂几何和外观的场景的逼真的新视图，并演示了优于先前在神经渲染和视图合成方面的工作的结果。然而，由于NeRF渲染时间长，需要大量图像进行训练的，并且需要一个昂贵的优化过程每个场景[Alex Yu, Vickie Yeand Matthew Tancik. pixelNeRF: Neural Radiance Fields from One or Few Images.In Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition, pages 4578–4587, 2021.]。本专利提出的方法只需要训练一个通用的模型即可在新的场景中无需训练就能获得良好的性能。除此之外，本方法不需要任何的深度信息作为监督，这样使得应用场景更加广泛。输入少量参考图像，并使用基于注意力机制的模块找到采样点与相邻采样点之间的深层关系，在渲染出图像后使用纹理传输模块将参考图像的纹理转移到渲染图像得到精细化图像。经过实验验证，基于注意力机制与参考信息的新视角合成方法具有成本低，无需进行逐场景优化就可以生成效果显著的新视角图像。且在国内外的资料中，暂无发现利用与采样点相邻的其他采样点信息来进行联合预测体密度与颜色的方法，因此本方法的创新型较强。

发明内容

针对现有技术中存在的缺陷，本发明的目的是减少合成新视角所需要的参考图像，更高的新视角图像质量和训练无需逐场景优化的模型。

为达到以上目的，本发明采用的技术方案是：一种基于注意力机制与参考信息的新视角合成方法，其中，包括以下步骤：

（1）输入图像的特征图获取：将十张参考图像输入进可学习的Unet网络中获取相同尺寸的特征图。

（2）输出渲染图像的光线获取：通过输出图像的相机矩阵来获取输出图像的每个像素所对应的光线位置，并通过均分法来获取每条光线上3d采样点的位置信息。