[发明专利]融合RGBD多模态信息的行人轮廓跟踪方法

说明书

本发明公开了一种融合RGBD多模态信息的行人轮廓跟踪方法，构建包含RGB目标分割卷积网络模块、Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块的行人目标置信图获取模型，采用训练样本对行人目标置信图获取模型进行训练，在实际应用时，将RGB图像与Depth图像分别输入行人目标置信图，将得到的融合置信图作为引导主动轮廓进化的外部能量来获取目标轮廓。本发明引入了Depth图像作为输入，可以有效提高在背景光线不足或目标表观与背景表观相似的跟踪场景下的行人轮廓跟踪效果。

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种融合RGBD多模态信息的行人轮廓跟踪方法。

背景技术

作为计算机视觉研究领域中极具重要意义的视觉任务之一，目标跟踪包含模式识别、图像处理等先进技术。目标跟踪任务的内容为根据给定视频序列指定帧中所感兴趣目标的位置信息，依次在后续连续帧中将目标找出并给出其位置信息。近年来，随着计算机学科技术的不断发展且生活与工作中越来越多的实际应用需求，目标跟踪算法的研究已经成为计算机视觉领域的一个大热点。

在目前的目标跟踪算法中，绝大多数成熟的跟踪算法都是基于RGB彩色图像的，一是因为目前的RGB图像成像技术是最成熟的，无论是手机或是相机都可以轻松获取大量质量很好的图像，也正是因为如此基于RGB彩色图像的视觉数据集也是极为丰富的，其次是因为在RGB图像上携带了足够丰富的信息，如可以在RGB图像上提取如彩色直方图、HOG、LBP等多种特征信息，这也是其成为视觉任务主要数据来源的最重要原因之一。然而，尽管其拥有如此多的优点，但在现实场景中也存在仅依赖RGB图像无法解决的问题，如在RGB图像中目标物体与背景表观比较相似或是环境光线较暗等等情况。为了弥补单一的RGB图像信息带来的跟踪效果不足，目前很多的跟踪算法也已经引入了如光流图或Depth(深度)图像来作为RGB图像的补充以提高跟踪效果。

Depth图像与RGB彩色图像不同，Depth图像从直观上看是一种记录距离数据的图像，其图片每个像素值记录的是成像物体每个位置到摄像头的距离。Depth图像一般为16位单通道图像，其显示效果和常见的单通道灰度图一样，视觉上成像物体离摄像头越近，Depth图像的像素值越小所以灰度显示越暗，离摄像头越远像素值越大灰度显示越亮。由于Depth图像具有不受光照变化影响且只与距离有关等特性，在一些特定的跟踪场景中如环境光线微弱，背景与目标表观相近等场景，融合Depth图像可以帮助解决由于RGB图像表观信息失效而导致跟踪效果变差的问题。

在目标的跟踪形式上，主要分为基于boundingbox(目标包围框)的跟踪与基于轮廓的跟踪。所谓的基于boundingbox的跟踪即在跟踪目标上使用矩形框或椭圆形框进行跟踪目标的表达，该种跟踪方式较为简单，但形态固定，对于非刚性目标的表达缺乏灵活性。而对于轮廓的跟踪方式，其是对于目标形体边缘的跟踪，该种跟踪方式需要进行较为复杂的数学计算，但它对于非刚性目标的表达确实十分灵活，能够详细的提供目标形态的信息以及变化，是十分具有意义的跟踪方式。就目前而言，如何将Depth图像融入轮廓跟踪中还是一个有待解决的技术问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种融合RGBD多模态信息的行人轮廓跟踪方法，结合使用RGB图像与Depth图像，提高在背景光线不足或目标表观与背景表观相似的跟踪场景下的行人轮廓跟踪效果。

为实现上述发明目的，本发明融合RGBD多模态信息的行人轮廓跟踪方法包括以下步骤：

S1：构建行人目标置信图获取模型，包括RGB目标分割卷积网络模块，Depth目标分割卷积网络模块，特征图叠加模块，卷积模块和置信图融合模块，其中：

RGB目标分割卷积网络模块以RGB图像作为输入，输出为行人目标分割的置信图T_RGB，将最后一层特征图F_RGB输出至特征图叠加模块，将置信图T_RGB输出至融合模块；