[发明专利]基于注意力机制和双流多域卷积神经网络的人体跟踪算法

权利要求书

1.基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，所述双流多域神经卷积网络采用双流输入，多流输出的方式对人体目标进行跟踪；

通过原始视频序列提取人体目标的表观特征，通过帧差序列提取人体目标的运动特征，并根据人体目标的运动幅度在图像中的占比作为自适应融合参数，实现目标表观特征与运动特征自适应融合；

应用所述双流多域神经卷积网络进行目标跟踪时，包括：

1)离线训练：通过对不同视频段内标定的人体目标进行深层次的特征提取，获得网络共享层参数；

2)在线学习：通过在线学习的方式，更新网络中全连接层参数，并结合卷积层融合得到的特征进行边框回归，优化目标跟踪的结果。

2.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，具体包括如下步骤：

S1：构造训练数据，对训练数据中的视频进行目标标定，即标定待跟踪的人体目标；

S2：读取标定的人体目标跟踪区域信息以及对应的视频段，确定训练的视频段数目K，并将读取的视频数据进行归一化；

S3：将归一化的视频数据进行帧差处理，对帧差图像进行预处理操作，获得人体目标运动的区域，并根据人体目标运动的区域与目标标定的区域计算目标运动程度，进而得到卷积网络特征融合权重；

S4：构造离线训练时基于注意力机制的双流多域卷积网络模型，根据S2中得到的训练视频段数K，确定双流多域卷积神经网络的独立层分支数，初始化网络模型并确定损失函数与优化器；

S5：将归一化的视频数据和每一个视频序列及对应的帧差序列进行打乱，采用样本生成器及重叠率函数S^*(IOU)生成及区分正负样本；

S6：将步骤5中得到的正负样本及其标签送入S4中构造的离线网络模型中进行训练，得到训练后的网络共享层参数；

S7：将得到的网络共享层参数进行保留，构造在线学习时基于注意力机制的双流多域卷积网络模型；

S8：对待跟踪目标进行在线学习，将跟踪目标的首帧送入在线跟踪模型，进行网络训练，更新全连接层参数；

S9：计算边框回归需要的参数，通过网络模型最后一个卷积层的输出进行边框回归，实现目标跟踪边框的优化；

S10：以前一帧中目标所在的位置预测后一帧目标的位置；其中以前一帧目标位置作为中心，以随机高斯分布的方式生成候选区域，通过网络模型输出的跟踪目标相似度分数，确定跟踪目标在下一帧的位置，在下一帧相同位置周围行进目标候选框设置，判断候选区域与跟踪目标的相似度，进而确定跟踪区域；

S11：反复执行S9及S10，通过边框回归实现跟踪目标所在位置的优化，通过相邻两帧的目标的相似度得分准确定位出跟踪目标，不断地循环视频序列，更新fc4-6层参数，最终实现视频中的人体目标的跟踪。

3.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，所述S3中自适应特征融合权重的计算公式为：

δ_R＝1-δ_E

其中：δ_R为目标表观特征权重，δ_E为运动特征权重，R_R为原始图像中目标所在矩形框面积，R_R为帧差图像中目标所在矩形框面积。

4.根据权利要求2所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，所述S4构建的双流多域卷积神经网络中包括三个卷积层(conv1-3)，三个全连接层(fc4-6)；其中三个卷积层(conv1-3)部分采用相同的网络结构，在第一卷积层与第二卷积层中间添加空间注意力机制，在第二卷积层与第三卷积层中采用扩张卷积的方式进行卷积，在第三层卷积后添加自适应RoIAlign层，在全连接层(fc4-6)间添加通道注意力机制。

5.根据权利要求2或4所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法，其特征在于，所述S4中网络中全连接层的最后一层根据S2中读入的视频段数K来确定，即K个视频段，fc6有K个分支，确定损失函数L与优化器adma。