[发明专利]一种多源复合立体视觉传感器动态跟踪方法

说明书

本发明公开一种多源复合立体视觉传感器动态跟踪方法，包括以下步骤：先利用多源复合立体视觉传感器对待跟踪目标场景进行实时视频图像采集，再对采集的视频图像进行平滑处理和均衡化处理，然后对处理后的图像进行单目运动目标和双目运动目标提取，最后应用基于运动检测的目标跟踪方法跟踪运动目标；本发明采用运动检测与立体视觉相结合的方法对视频图像中的运动目标进行跟踪，视野更为开阔，且双目视觉形成的视差图可以处理遮挡，跟踪效率高，提高了跟踪效果，通过立体视觉可以提取出目标的深度信息，根据计算可以得到目标距离，相比常见的目标跟踪方法减小了误差，实现对多目标进行实时跟踪，并避免跟踪过程中发生跟踪丢失的情况。

技术领域

本发明涉及多目标跟踪技术领域，尤其涉及一种多源复合立体视觉传感器动态跟踪方法。

背景技术

多目标跟踪，就是指对图像序列中的目标进行多检测、提取、识别和跟踪，通过获得目标的运动参数，如位置、速度以及运动轨迹，从而使人们更好的理解和描述目标的行为，多目标跟踪是近些年新兴起的科学技术，它涉及到了随机统计、数学优化、图像处理、模式识别、人工智能、自动控制等多种学科，是当今国际上研究的热门方向，无论是在军用还是民用领域，多目标跟踪技术都有着十分广泛的应用,如控制预警、海洋监测、战场监视、智能交通、人机互动等。

多源复合立体视觉传感器是应用于无人驾驶领域的重要传感器之一，其具备可见光与红外波段的立体成像与测距功能，其至少包含两个可见光相机与两个红外相机，并具备多波段融合功能以及一定的感知功能，可以工作在昼夜环境下，尤其采用无主动照明的车载多源复合立体视觉传感器更具备一定的隐蔽性，具有更加广泛的应用场景。

常见的目标跟踪方法有很多，包括相关跟踪方法、基于模型的跟踪方法和基于特征的跟踪方法等，但这些方法大都存在一定缺陷，导致目标跟踪效率低，跟踪过程耗时长，且精准度不高，还容易出现跟踪丢失的现象，跟踪效果较差，无法进行广泛应用，而目前将多源复合立体视觉传感器应用于多目标跟踪的研究还不多，因此，本发明提出一种多源复合立体视觉传感器动态跟踪方法以解决现有技术中存在的问题。

发明内容

针对上述问题，本发明的目的在于提出一种多源复合立体视觉传感器动态跟踪方法，解决常见的目标跟踪方法存在跟踪效率低、跟踪过程耗时长、精准度不高以及容易出现跟踪丢失的问题。

为了实现本发明的目的，本发明通过以下技术方案实现：一种多源复合立体视觉传感器动态跟踪方法，包括以下步骤：

步骤一：先对多源复合立体视觉传感器进行安装，并使传感器的拍摄视觉朝向带跟踪目标场景，再开启多源复合立体视觉传感器对待跟踪目标场景的左右视角进行实时拍摄，并将拍摄的视频图像数据网络传输至存储器中存储；

步骤二：先对存储器中存储的视频图像进行采集，接着基于隶属函数的模糊规则对采集的图像进行平滑处理，再利用图像均衡技术对采集的图像进行均衡化处理；

步骤三：对预处理后的右视角图像进行单目目标提取，并进行二值化处理，再对左右视角图像进行双目目标提取，并进行二值化处理，得到单目运动目标图像和双目运动目标图像；

步骤四：先利用多源复合立体视觉传感器的多波段融合功能将单目运动目标图像与双目目标图像融合拼接，再利用相邻帧差法或光流法提取融合拼接图像中的运动目标深度信息，然后应用基于运动检测的目标跟踪方法跟踪运动目标，并在每一帧中将运动目标框选标记，实现多目标跟踪。

进一步改进在于：所述步骤一中，所述多源复合立体视觉传感器上设有两个可见光相机，对待跟踪目标场景进行实时拍摄时，利用多源复合立体视觉传感器上的两个可见光相机分别拍摄待跟踪目标场景的左视角图和右视角图。

进一步改进在于：所述步骤二中，平滑处理具体为：先计算采集图像上不同方向的模糊差分，接着对邻近像素值的贡献进行加权，并使用计算得到的模糊差分进行模糊平滑处理，得到平滑的视频图像。