[发明专利]基于多个立体相机的对象检测跟踪方法及装置

说明书

技术领域

本发明总体地涉及图像处理，更具体地涉及基于立体视觉的对象检测跟踪方法及装置。

背景技术

已经存在一些利用立体摄像机采集的图像来检测对象的技术，例如，标题为“METHOD AND SYSTEM TO SEGMENT DEPTH IMAGES AND TO DETECT SHAPES IN THREE-DIMENSIONALLY ACQUIRED DATA”的专利文献US8009871B，标题为“SURFACE GENERATION METHOD FROM BOUNDARIES OF STEREO IMAGES”的专利文献US5202928A，Michael Harville在2003年发表的文章Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics等。

以人的定位或检测为例，人的定位是以人为中心的技术的基础，只有人被准确的定位后方能提供和推送主动的服务。人定位是指检测到人进而得到人在室内或者室外的位置信息，也就是得到人在世界坐标系中的坐标值(x, y,z)的过程。

基于立体视觉的人的定位技术的核心是深度图/视差图序列中的人的检测和跟踪技术。目前，基于立体视觉的人的定位技术，当其用于真实的场景时，依然有些问题和挑战。首先，当物体离立体相机/双目相机的距离较远时，测量得到的距离的精度呈现下降的趋势，这对基于立体视觉的对象的检测、跟踪和定位带来了极大的负面影响。另外，遮挡也会导致对象检测、跟踪和定位的不准确，甚至失效。为此，在实际应用中，特别是涉及到较大的范围的实际应用中，往往需要部署多台立体相机/双目相机。

发明内容

如何利用多个立体相机的深度/视差信息来更有效的检测对象、跟踪对象和更精确地定位对象，就是非常亟待解决的实际问题。可以通过使用融合技术来进行解决。融合，按照其融合对象的不同大致可以分为三类：原始数据集的融合；特征集的融合；再有就是结果集的融合。

对于多个立体相机诸如双目相机的场景而言，原始数据集的融合，即像素集的融合，网络传输数据量大和处理的数据量大，很难在实际场景中进行实时应用。

专利US7929017B2提出了一种方法和装置用于立体相机、多相机以及RF和视频的融合。该方法融合单目相机、立体相机的跟踪结果，以及RFID、定位系统和生物识别系统的结果。该融合技术通过对不同传感器信息的噪声和模糊进行严格地不确定性分析后，进行传感器信息的转换。其基于时空约束来融合不同传感器的位置和速度信息。

该专利提出的技术使用了贝叶斯方法来融合各类结果，融合目标是跟踪的结果和位置信息。为了增加稳定性，其考虑了时空的约束。本质上讲，该方法明确地将不同的结果根据其来源的传感器进行区分，然后建立不同的传感器的各个结果之间的映射关系。如果，不同的传感器的某些结果通过距离计算判定为同一个结果，就融合它们，否则这些不同传感器的结果均作为不同的最终结果。

专利US7742620B2提出了一种通过时域和空域融合来提升检测结果的方法。该方法融合目标是各个不同传感器的处理结果，其将空域和时域的融合结合到一起，同时采用了特殊的阈值处理。该方法也是在结果集上的融合。其也明确区分不同传感器的处理结果，通过建立映射关系及其距离计算来进行结果的融合。

上述两篇文献中介绍的技术均明确区分不同传感器的处理结果，通过建立映射关系及其距离计算来进行结果的融合。下文中为描述方便，将这类技术统称为区分来源式结果融合技术。

本发明人经实验和分析认为，上述区分来源式结果融合技术的基本处理是根据结果的来源显式地区分结果，然后建立这些不同来源的结果的关联度矩阵，再通过优化的方法找到匹配，匹配的不同源的各个结果融合为一个最终的人。一般而言，构建关联度矩阵目的在于求解匹配，导致处理的复杂性过高，求解也比较困难。

鉴于现有技术的上述问题，本发明希望提供一种能够降低基于多个立体相机的对象检测结果融合的复杂性、提高处理效率的技术。