[发明专利]融合RGBD多模态信息的行人轮廓跟踪方法

摘要

本发明公开了一种融合RGBD多模态信息的行人轮廓跟踪方法，构建包含RGB目标分割卷积网络模块、Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块的行人目标置信图获取模型，采用训练样本对行人目标置信图获取模型进行训练，在实际应用时，将RGB图像与Depth图像分别输入行人目标置信图，将得到的融合置信图作为引导主动轮廓进化的外部能量来获取目标轮廓。本发明引入了Depth图像作为输入，可以有效提高在背景光线不足或目标表观与背景表观相似的跟踪场景下的行人轮廓跟踪效果。

主权项

1.一种融合RGBD多模态信息的行人轮廓跟踪方法，其特征在于，包括以下步骤：S1：构建行人目标置信图获取模型，包括RGB目标分割卷积网络模块，Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块，其中：RGB目标分割卷积网络模块以RGB图像作为输入，输出为行人目标分割的置信图T_RGB，将最后一层特征图F_RGB输出至特征图叠加模块，将置信图T_RGB输出至融合模块；Depth目标分割卷积网络模块以RGB图像对应的Depth图像作为输入，输出为行人目标分割的置信图T_Depth，将最后一层特征图F_Depth输出至特征图叠加模块，将置信图T_Depth输出至融合模块；特征图叠加模块对特征图F_RGB和特征图F_Depth进行叠加，得到特征图F_sw并输出至卷积模块；卷积模块用于对特征图F_SW进行卷积操作，得到概率转换图SW并输出至融合模块，其中卷积操作表达式如下：SW＝h(W_SW*F_SW+b_SW)其中，W_SW和b_SW分别为1*1卷积核的权重参数和偏置项权重参数，h(·)表示激活函数；置信图融合模块根据概率转换图SW，对接收的置信图T_RGB、置信图T_Depth进行融合，得到融合后的置信图T_fused，其中融合操作表达式如下：T_fused＝SW⊙T_RGB+(1‑SW)⊙T_Depth其中，⊙表示对应元素相乘；S2：获取若干训练样本，每个训练样本包括包含行人目标的RGB图像、对应Depth图像以及行人目标分割标签，行人目标分割标签用于表征各个像素是属于行人目标还是背景；S3：对行人目标置信图获取模型采用以下方法进行训练：S3.1：采用训练样本中的RGB图像作为输入，对RGB目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.2：采用训练样本中的Depth图像作为输入，对Depth目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.3：将行人目标置信图获取模型中RGB目标分割卷积网络模块按照步骤S3.1的训练结果进行初始化，Depth目标分割卷积网络模块按照步骤S3.2的训练结果进行初始化，采用训练样本中的RGB图像作为RGB目标分割卷积网络模块的输入，对应的Depth图像作为Depth目标分割卷积网络模块的输入，对行人目标置信图获取模型进行训练，训练过程中对输出的融合置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S4：获取行人视频序列，手工标定第一帧图像中行人的轮廓，然后对于后续图像，将RGB图像和对应的Depth图像输入行人目标置信图获取模型，得到融合置信图，将融合置信图作为轮廓演化的外部能量输入引导轮廓进行演化，得到当前图像行人轮廓跟踪结果。