[发明专利]生成深度图的方法、装置、电子设备和存储介质

说明书

本发明提供一种生成深度图的方法、装置、电子设备和存储介质，获取预设的M个扫描深度和视频中的图像序列后，计算图像序列中每一个图像帧的设备位置参数，然后根据设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图计算参考帧的每一个像素点在每一个扫描深度下的匹配代价，最后针对参考帧的每一个像素点，将这个像素点的最小的匹配代价对应的扫描深度确定为该像素点的相对深度，从而得到参考帧的深度图。综上所述，针对无法用深度相机拍摄的实际场景，可以利用常规的拍摄设备拍摄视频，然后利用本发明提供的方案处理得到视频中任意一个图像帧的深度图。因此，本发明有效的扩展了深度图的应用范围。

技术领域

本发明涉及图像处理技术领域，特别涉及一种生成深度图的方法和装置。

背景技术

深度相机是一种新型拍摄设备，用深度相机拍摄实际场景，不仅能得到常规的二维图像，还能获得二维图像对应的深度图，由二维图像的各个像素点相对深度组成的深度图，可以用于描述拍摄时，拍摄设备和实际场景之间的位置关系。根据二维图像对应的深度图渲染二维图像，能够使用户在观看渲染后的图像时体验到更真实的场景，有效的改善用户体验。

现有技术中，要获取深度图，只能利用深度相机直接拍摄得到，而无法通过处理常规拍摄设备拍摄的二维图像产生。然而，深度相机的拍摄距离有限，并且容易受到干扰，因此深度相机只能用于拍摄一部分实际场景。这就使得大多数的实际场景只能用二维图像显示，限制了深度图的应用范围。

发明内容

基于上述现有技术的缺点，本发明提供一种生成深度图的方法和装置，以解决现有技术中，无法获取大多数实际场景的深度图的问题。

本发明第一方面公开一种生成深度图的方法，包括：

获取预设的M个扫描深度，以及视频中的图像序列；其中，所述图像序列包括所述视频的连续的N个图像帧，所述N和M均为预设的正整数；

利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数；其中，图像帧的设备位置参数，用于描述拍摄所述图像帧时设备所在的位置；所述设备是，用于拍摄所述视频的设备；

根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价；其中，当前扫描深度是所述预设的M个扫描深度中的每一个扫描深度；所述当前像素点是所述图像序列的参考帧的每一个像素点；所述参考帧是所述图像序列中的任意一个图像帧，所述转移帧是所述图像序列中，除所述参考帧以外的图像帧；

针对所述参考帧的每一个像素点，将所述像素点的最佳扫描深度确定为所述像素点的相对深度；其中，像素点的最佳扫描深度，是指，所述像素点的最小的匹配代价对应的扫描深度；所述参考帧的所有像素点的相对深度的集合，作为所述参考帧的深度图。

可选的，所述根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价，包括：

针对所述图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，所述转移帧的设备位置参数，计算得到所述转移帧的转移矩阵；

针对所述图像序列的每一个转移帧，根据所述转移帧的转移矩阵和当前像素点的坐标，确定所述转移帧中，所述当前像素点的映射像素点；

针对所述图像序列的每一个转移帧，从所述转移帧的亮度特征图中，获取所述当前像素点在所述转移帧中的映射像素点的亮度特征值；

根据所述当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到所述当前像素点的，与当前扫描深度对应的匹配代价。

可选的，所述利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数，包括：