[发明专利]基于互视角的遮挡评估方法及装置、设备、系统和介质

说明书

本申请的基于互视角的遮挡评估方法及装置、设备、系统和介质，通过获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。本申请可以选择出最优的视角对被遮挡位置进行光场渲染，获取到最佳的人脸信息。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于互视角的遮挡评估方法及装置、设备、系统和介质。

背景技术

光作为一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性，帮助人类感知物体的明暗、位置和色彩。然而，传统的光学成像智能捕获到光辐射在二维平面上的投影强度，而失去了目标的三维形态数据。光场数据采集，便是获取光辐射的完整分布，通过变换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图像的过程。光场成像作为一种计算成像技术，其“所得”(光场)需要经过相应的数字处理算法才能得到“所见”(图像)。

光场渲染是人脸检测系统的重要算法模块。首先根据人脸检测系统的内外参，对采集到的画面进行去畸变，并通过投影技术手段去除倾斜角对场景的影响；然后，利用光场合成孔径成像技术和光场重建算法，根据不同的聚焦参数，对图像进行不同焦平面的光场重聚焦渲染，完成光场去遮挡功能。

针对不同的应用场景，存在多种方法确定对焦平面。对于应用范围单一的固定场景，可以直接人为设定焦平面，使得光场系统对焦于同一个焦平面，进行光场渲染；对于需要前景对焦的场景，可以利用图像算法对场景前景进行测距，从而估计出焦平面距离，这种方法的准确性很大程度上依赖于测距方法的有效性以及场景环境的复杂程度；对于多对焦平面需求的应用，可以通过扫焦的方式，即由远至近的设定不同的对焦面，知道光场对焦，但是这一种对焦方式，一是与场景内容无关，所以并不知道哪一个对焦面是准确的，二是它的效果依赖于扫焦分辨率。因次，有必要优化对焦准确性以及去遮挡渲染的效果。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于互视角的遮挡评估方法及装置、设备、系统和介质，以解决现有技术中的对焦不准确、以及去遮挡渲染效果不佳的问题。

为实现上述目的及其他相关目的，本申请提供一种基于互视角的遮挡评估方法，所述方法包括：获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。

于本申请的一实施例中，所述获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合的方法包括：从所述第一成像数据中截取符合行人头部高度的第三成像数据；对所述第三成像数据进行头部区域检测以检测其中的各个行人头部；定位所述第三成像数据中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述顶部深度相机的内、外参数映射为该参考点的世界坐标；利用所述光场相机阵列的外参来映射该参考点的世界坐标为所述光场相机阵列的相机坐标系下的相机坐标，以得到所述参考点所在的对应该所述光场相机阵列的深度数据；依据所述第二成像数据、及深度数据，以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合。