[发明专利]虚拟视点合成方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种虚拟视点合成方法、装置、电子设备及存储介质；方法包括：根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；将第一动静标记图转换为第二动静标记图；根据第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。本发明通过当前帧参考视点纹理图与前一帧参考视点纹理图确定虚拟视点纹理图中的静态区域，然后对属于静态区域的像素的深度值进行修正，保证了虚拟视点纹理图的时域一致性。

技术领域

本发明涉及视频技术领域，尤其涉及一种虚拟视点合成方法、装置、电子设备及存储介质。

背景技术

自由视点视频可以利用虚拟视点合成方法将单一视点的彩色加深度视频合成多个视角的彩色视频，让人观看视频的角度更加自由，是三维视频的重要发展方向。

基于深度图的虚拟视点合成方法是在参考图像和对应深度图的基础上，利用几何映射的方法计算得到像素点在三维几何空间的坐标，然后再通过重投映的方法，投射到指定的虚拟平面上，从而获得新视点(虚拟视点)下的图像。

该方法主要局限于对单帧图像的处理，而忽略了帧与帧之间的连续性，导致虚拟视点视频出现时域不稳定的现象，在静态区域尤为明显。

现有技术主要通过时域中值滤波等方法提取整个场景的静态背景图像，再基于静态背景进行深度图优化和空洞填补。但是基于背景重建的时域稳定性改善方法需要预先获取足够帧数的视频序列，才能完整地提取出场景的静态背景，无法做到实时地改善虚拟视点视频的时域稳定性，应用场景有一定的局限性。

发明内容

针对现有技术存在的问题，本发明提供一种虚拟视点合成方法、装置、电子设备及存储介质。

第一方面，本发明提供一种虚拟视点合成方法，包括：

根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图；其中，所述第一动静标记图用于描述所述当前帧参考视点纹理图中各个位置的像素是否属于动态区域；

将所述第一动静标记图转换为第二动静标记图；其中，所述第二动静标记图用于描述当前帧虚拟视点纹理图中各个位置的像素是否属于动态区域；

根据所述第二动静标记图，对不属于动态区域的像素在当前帧虚拟视点深度图中的深度值进行修正，得到优化后的当前帧虚拟视点深度图；

根据当前帧参考视点纹理图以及优化后的当前帧虚拟视点深度图，生成当前帧虚拟视点纹理图。

根据本发明提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定第一动静标记图，包括：

根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域；

对所述动态区域中的像素进行邻域扩展，得到所述第一动静标记图。

根据本发明提供的一种虚拟视点合成方法，所述根据当前帧参考视点纹理图与前一帧参考视点纹理图，确定所述当前帧参考视点纹理图中的动态区域，包括：

计算所述当前帧参考视点纹理图中第一位置的像素与所述前一帧参考视点纹理图中第一位置的像素之间的像素距离；其中，所述第一位置表示当前帧参考视点纹理图或前一帧参考视点纹理图中的任意一个位置；

将所述像素距离与预先设置的阈值进行比较，当所述像素距离小于所述阈值时，所述第一位置的像素不属于动态区域，当所述像素距离大于或等于所述阈值时，所述第一位置的像素属于动态区域。

根据本发明提供的一种虚拟视点合成方法，所述对所述动态区域中的像素进行邻域扩展，包括：