[发明专利]一种基于深度相机和Lidar的绿幕抠像方法

说明书

本发明公开了一种基于深度相机和Lidar的绿幕抠像方法，涉及图像处理技术领域。本发明包括如下步骤：S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；S2：对DSM深度影像进行处理；S3：使用Canny算子进行边界检测提取图形初始边界；S4：检测出初始边界的角点；S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；S6：使用最小二乘拟合图形边界，将图像抠出。本发明通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。

技术领域

本发明属于图像处理技术领域，特别是涉及一种基于深度相机和Lidar的绿幕抠像方法。

背景技术

得益于大规模集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物的抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性。并且只有在简单特定背景下，才能够达到较好的抠像效果。对于复杂背景，大多数抠像算法需要在多次人机交互的情况下才能够得到令人满意的结果，计算复杂度高，在很大程度上限制了抠像算法的实际应用。当然，当前流行的深度学习算法，可得到较好的抠图效果，但是依赖GPU，使用成本昂贵。

抠像技术在信息时代普遍应用到各行各业，在商城图片展示、视频剪辑、电影制作、直播平台、虚拟现实、增强现实等众多科技产业中扮演重要的角色；现有技术中对于包括人物抠像在内的各种抠像，主要采用Grabcut算法即图割算法，该算法是基于MRF(MarkovRandom Field马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。对该算法的改进也有很多，如构建颜色、纹理等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但计算量非常庞大，处理大型图片处理速度更加缓慢，大部分算法需要依靠价格昂贵的显卡支持。

发明内容

本发明的目的在于提供一种基于深度相机和Lidar的绿幕抠像方法，通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，得到最终的图像边界并进行抠图，解决了现有的抠像耗时长、成本高、算法复杂度高问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于深度相机和Lidar的绿幕抠像方法，包括如下步骤：

步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；

步骤S2：对DSM深度影像进行处理；

步骤S3：使用Canny算子进行边界检测提取图形初始边界；

步骤S4：检测出初始边界的角点；

步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；

步骤S6：使用最小二乘拟合图形边界，将图像抠出。

优选地，所述步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。

优选地，所述插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；