[发明专利]一种基于时间域卷积神经网络的视频行人检测方法

摘要

本发明一种基于时间域卷积神经网络的行人检测方法，将针对单幅图像的行人检测方法扩展为针对连续帧图像，训练卷积神经网络学习单幅视频帧上的空间关联性和连续帧之间的时间关联性，弥补了现有方法在检测被遮挡的行人上的不足。此外，采用时间域卷积神经网络进行的行人检测，对行人的姿势变化更加鲁棒，整体的检测精确度和召回率均有提升。

主权项

一种基于时间域卷积神经网络的行人检测方法，其特征在于，包括以下步骤：步骤1.将训练用的视频序列分离成图像；按照时间顺序，把连续的N帧图像灰度化，拼成一个N通道的图像，称之为连续帧图像；步骤2.对每一个连续帧图像，取出对应的N个标签进行合并，合并后的标签信息作为连续帧图像的标签；步骤3.把组织好的连续帧图像和标签信息输入到卷积神经网络中进行训练，得到RPN网络和Fast RCNN网络的参数；步骤4.把测试用的视频序列分离成图像，采用步骤1，得到测试用的连续帧图像；步骤5.把测试用的连续帧图像输入到RPN网络，读取训练好的参数，得到数百个粗略的候选区域；再把连续帧图像和候选区域输入到Fast RCNN网络中，读取训练好的参数，得到预测包围框和对应的可信度；步骤6.如果当前帧不是视频的开头几帧，那么利用前几帧的检测结果对当前帧包围框的可信度进行修正；如果当前帧某个包围框与前几帧当中的检测结果存在较大的重叠，那么基于相互重叠的预测包围框和先前检测包围框之间的时间差，将预测可信度和先前检测可信度进行加权求和，得到预测包围框的最终可信度，赋予当前帧中重叠的预测包围框；最后，遵循非最大值抑制的规则，把当前帧的预测包围框按照它们的位置和可信度进行合并筛选，作为最终的检测结果输出。