[发明专利]基于注意力机制与参考信息的新视角合成方法

权利要求书

1.一种基于注意力机制与参考信息的新视角合成方法，包括以下步骤：

（1）输入图像的特征图获取

将十张参考图像输入进可学习的Unet网络中获取相同尺寸的特征图；

（2）输出渲染图像的光线获取

通过输出图像的相机矩阵来获取输出图像的每个像素所对应的光线位置，并通过均分法来获取每条光线上3d采样点的位置信息；

（3）每个采样点的颜色和体密度获得

通过输入图像的相机矩阵和每条光线上3d采样点的位置信息来计算每条光线上3d采样点对应输入特征图的位置，从而获得每个3d采样点在不同参考图像所对应的特征信息，将每个3d采样点的特征信息和位置信息输入进构建的基于注意力机制的神经辐射场中来获得每个采样点的颜色和体密度；

（4）输出渲染图像的每个像素的颜色获取

将每条光线上所有的3d采样点的体密度和颜色按照体渲染公式进行求和从而得到每个像素的颜色，将像素排列从而渲染出新视角的图像；

（5）输出渲染图像的精细化处理

将渲染后的图像输入进纹理转移模块将参考图中清晰的纹理转移到渲染后的图像中，从而得到更加真实的图像。

2.根据权利要求1所述的基于注意力机制的神经辐射场，其特征在于，神经辐射场由聚合参考采样点信息模块与多层感知机模块组成。

3.根据权利要求2所述的基于注意力机制的神经辐射场，其特征在于，聚合参考采样点信息模块可根据3d采样点附近的采样点的信息来联合优化，从而得到更加准确的颜色和体密度。

4.根据权利要求1所述的纹理转移模块，其特征在于，将渲染图分割成小块并从参考图像中寻找到与其相似的纹理部分进行基于注意力的权重转移，最终得到的精细化图像。