[发明专利]虚拟视点合成方法、装置、电子设备及存储介质

权利要求书

1.一种虚拟视点合成方法，其特征在于，包括：

根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；

将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；

根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；

根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。

2.根据权利要求1所述的虚拟视点合成方法，其特征在于，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图，包括：

根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域；

对所述动态区域中的像素进行邻域扩展，得到所述第一动静标记图。

3.根据权利要求2所述的虚拟视点合成方法，其特征在于，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域，包括：

计算所述当前帧参考视点纹理图中第一位置的像素与所述前一帧参考视点纹理图中第一位置的像素之间的像素距离；其中，所述第一位置表示当前帧参考视点纹理图或前一帧参考视点纹理图中的任意一个位置；

将所述像素距离与预先设置的阈值进行比较，当所述像素距离小于所述阈值时，所述第一位置的像素不属于动态区域，当所述像素距离大于或等于所述阈值时，所述第一位置的像素属于动态区域。

4.根据权利要求2所述的虚拟视点合成方法，其特征在于，所述对所述动态区域中的像素进行邻域扩展，包括：

对所述动态区域中的任意一个像素，将其周围的(2N+1)×(2N+1)个像素均标记为属于动态区域；其中，所述N为大于或等于1的自然数。

5.根据权利要求1所述的虚拟视点合成方法，其特征在于，所述根据所述第二动静标记图，对不属于动态区域的像素在所述当前帧虚拟视点深度图中的深度值进行修正，包括：

根据第二动静标记图，判断当前帧虚拟视点纹理图中的第二位置的像素是否属于动态区域；

当所述第二位置的像素不属于动态区域时，将所述当前帧虚拟视点深度图中第二位置的像素的深度值修改为前一帧虚拟视点深度图中第二位置的像素的深度值；

当所述第二位置的像素属于动态区域时，保持所述当前帧虚拟视点深度图中第二位置的像素的深度值不变；其中，

所述第二位置为所述当前帧虚拟视点纹理图或所述当前帧虚拟视点深度图或所述前一帧虚拟视点深度图中的任意一个位置。

6.根据权利要求1所述的虚拟视点合成方法，其特征在于，方法还包括：

将当前帧参考视点深度图转换为当前帧虚拟视点深度图；具体包括：

根据参考相机的内部参数，将当前帧参考视点深度图中的坐标变换到参考相机坐标系下的坐标；

根据三维空间中的坐标变换，将所述参考相机坐标系下的坐标，变换到虚拟视点所在相机的坐标系下的坐标；

对所述虚拟视点所在相机坐标系下的坐标进行反变换，得到当前帧虚拟视点深度图的坐标。

7.根据权利要求1所述的虚拟视点合成方法，其特征在于，所述根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图，包括：

根据优化后的当前帧虚拟视点深度图，确定与所述当前帧虚拟视点纹理图中的第三位置相对应的所述当前帧参考视点纹理图中的第四位置；

将所述第四位置的像素值作为所述第三位置的像素值；其中，所述第三位置为所述当前帧虚拟视点纹理图中的任意一个位置。