[发明专利]基于注意力机制和双流多域卷积神经网络的人体跟踪算法

说明书

本发明公开了基于注意力机制和双流多域卷积神经网络的人体跟踪算法，所述双流多域神经卷积网络采用双流输入，多流输出的方式对人体目标进行跟踪；通过原始视频序列提取人体目标的表观特征，通过帧差序列提取人体目标的运动特征，并根据人体目标的运动幅度在图像中的占比作为自适应融合参数，实现目标表观特征与运动特征自适应融合；该算法有效的解决了待跟踪的人体目标本身发生形状、尺度、纹理等变化时跟踪效果差的问题，并采用离线训练共享层网络参数，在线学习独立层网络参数的方式，实时对跟踪目标进行特征优化和改进。通过实验结果可知，此网络能够在保证实时跟踪的前提下，实现准确的人体目标跟踪。

技术领域

本发明公开涉及计算机视觉技术领域，尤其涉及一种基于注意力机制和双流多域卷积神经网络的人体跟踪算法。

背景技术

当前的目标视觉跟踪主要分为两大类:生成模型方法和判别模型方法。生成类方法首先要对目标区域进行建模，并且要在后续帧中找到与模型最相似的区域，进而实现位置预测。判别类方法则是将图像特征与机器学习相结合，以目标区域作为正样本，背景区域作为负样本，使用分类器在整个图像中找到最优区域。近年来，相关的滤波类方法和深度学习类方法表现出出众的准确性和快速性，常常被学者所使用，但深度学习类的方法在实际应用中的处理速度还有待提高。

使用深度学习的方法进行目标跟踪：文献Nam H.,Han B.Learning Multi-DomainConvolutional Neural Networks for Visual Tracking[J].2015.1-13，提出了多域卷积神经网络(Multidomain convolutional neural network，MDnet)，是2015年VisualObject Tracking(VOT)视觉跟踪大赛的冠军，多域卷积神经网络基于CNN多域学习模型，设计了共享层与独立全连接层相结合的网络结构，能够很好的将多个目标独立的信息从目标中分开，但此网络在时间和空间方面具有很高的计算复杂度，对于潜在目标并没有进行模型优化，使得网络在跟踪方面的速度只能达到1FPS。为了提高跟踪网络模型的速度，文献Jung I.,Son J.,Baek M.,et al.Real-Time MDNet[J].the European Conference onComputer Vision(ECCV),2018:1-16.在MDNet网络的基础上借鉴了Mask R-CNN快速检测的思想，引入了自适应RoIAlign，并将CNN卷积网络转变为稠密映射网络，优化损失函数以提高类间目标的分类能力，有效的加快了目标跟踪的速度。

目前在人体目标检测与跟踪算法中，存在着目标实时跟踪速度慢，目标本身发生形状、尺度、纹理等变化时跟踪效果差的问题。

发明内容

鉴于此，本发明公开提供了一种基于注意力机制和双流多域卷积神经网络的人体跟踪算法，通过双流多域卷积神经网络分别提取人体目标表观特征与运动特征，将目标跟踪问题转化为了目标与背景的二分类问题，在满足实时跟踪的前提下实现了准确人体目标跟踪。

本发明提供的技术方案，具体为，

基于注意力机制和双流多域卷积神经网络的人体跟踪算法，所述双流多域神经卷积网络采用双流输入，多流输出的方式对人体目标进行跟踪；

通过原始视频序列提取人体目标的表观特征，通过帧差序列提取人体目标的运动特征，并根据人体目标的运动幅度在图像中的占比作为自适应融合参数，实现目标表观特征与运动特征自适应融合；

应用所述双流多域神经卷积网络进行目标跟踪时，包括：

1)离线训练：通过对不同视频段内标定的人体目标进行深层次的特征提取，获得网络共享层参数；

2)在线学习：通过在线学习的方式，更新网络中全连接层参数，并结合卷积层融合得到的特征进行边框回归，优化目标跟踪的结果。

具体包括如下步骤：