[发明专利]一种融合卷积神经网络的跟踪方法及系统

摘要

本发明公开了一种融合卷积神经网络的跟踪方法及系统，包括：通过预定的训练集，对卷积神经网络进行预训练得到卷积神经网络的初步模型CNN₁；接收用户输入的带有跟踪目标的视频流，通过初步模型CNN₁对视频流中的跟踪目标进行跟踪，并利用微调技术对初步模型CNN₁的参数进行微调，得到卷积神经网络的最终模型CNN₂；将最终模型CNN₂替换TLD算法中的分类器；接收用户输入的带有跟踪目标的监控视频流，通过带有最终模型CNN₂的TLD算法自动对监控视频流中的跟踪目标进行识别及跟踪；可见，通过对卷积神经网络进行训练生成最终模型CNN₂，能自动从监控视频流中识别跟踪目标，增加用户操作体验。

主权项

1.一种融合卷积神经网络的跟踪方法，其特征在于，包括：通过预定的训练集，对卷积神经网络进行预训练得到卷积神经网络的初步模型CNN1；接收用户输入的带有跟踪目标的视频流，通过所述初步模型CNN1对所述视频流中的所述跟踪目标进行跟踪，并利用微调技术对所述初步模型CNN1的参数进行微调，得到卷积神经网络的最终模型CNN2；将所述最终模型CNN2替换TLD算法中的分类器；接收用户输入的带有所述跟踪目标的监控视频流，通过带有所述最终模型CNN2的TLD算法自动对所述监控视频流中的所述跟踪目标进行识别及跟踪；其中，通过带有所述最终模型CNN2的TLD算法自动对所述监控视频流中的所述跟踪目标进行识别，包括：从所述监控视频流获取窗口网格；通过前向传播算法计算每个窗口网格的输出值，并将最大的输出值所对应的窗口图像，作为所述跟踪目标；其中，通过带有所述最终模型CNN2的TLD算法自动对所述监控视频流中的所述跟踪目标进行跟踪，包括：计算所述跟踪目标的窗口图像的初始方差；将获取的图像块的方差与所述初始方差的差值大于第一预定阈值的图像块，输入所述最终模型CNN2，并在输出的第一数值大于第二预定阈值时，将所述第一数值和对应的图像块存入第一待确定集合；获取所述跟踪目标的目标框，并从所述目标框中选取网格点；利用光流法计算所述网格点在下一帧图像中的位置，根据所述网格点中每个点的移动位移和所有点的位移中值，确定每个点的位移残差；将位移残差大于第二预定阈值的点作为成功点，根据所有成功点的相对运动估计出下一帧图像中目标框的大小，并根据所有成功的点的坐标的平均值，计算所述下一帧图像中目标框的中心位置，得到跟踪器输出结果；将所述跟踪器输出结果输入所述最终模型CNN2，得到与所述目标框对应的图像块的第二数值，并将所述第二数值和对应的图像块存入第二待确定集合，通过整合模块根据所述第一待确定集合和所述第二待确定集合确定目标框的位置。