[发明专利]基于注意力机制与孪生网络的目标跟踪方法及相关设备

权利要求书

1.一种基于注意力机制与孪生网络的目标跟踪方法，其特征在于，包括步骤：

获取目标模板和搜索区域；

将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息；其中，所述目标跟踪模型中包含孪生网络，并且孪生网络中的残差学习单元中设置有通道注意力模块和/或空间注意力模块；

所述残差学习单元中还设置有残差模块；所述孪生网络还包括区域提议网络单元；

将所述目标模板和搜索区域分别输入至预设的目标跟踪模型，通过预设的目标跟踪模型输出目标模板在所述搜索区域中的目标跟踪信息的步骤包括：

将所述目标模板和搜索区域分别输入至孪生网络两个分支的所述残差模块，通过所述残差模块提取与所述目标模板对应的目标模板特征和与所述搜索区域对应的搜索区域特征；

将所述目标模板特征和搜索区域特征对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图，和/或通过空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图；

将所述通道注意力特征图和/或空间注意力特征图输入到所述区域提议网络单元，通过所述区域提议网络单元得到所述目标模板在所述搜索区域中的目标跟踪信息；

所述通道注意力模块包括压缩子单元和激励子单元；

将所述目标模板和搜索区域对应输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述通道注意力模块提取与所述目标模板特征和搜索区域特征对应的通道注意力特征图的步骤包括：

将所述目标模板特征和搜索区域特征分别输入压缩子单元，通过压缩子单元的压缩操作，获取压缩后的目标模板特征和搜索区域特征；

将压缩后的目标模板特征和搜索区域特征输入所述激励子单元，利用激励子单元中预设的激活函数的输出对所述目标模板特征和搜索区域特征进行点乘，得到所述激励子单元输出的所述通道注意力特征图。

2.根据权利要求1所述的基于注意力机制与孪生网络的目标跟踪方法，其特征在于，所述空间注意力模块包括若干个用于提取不同空间特征的特征提取组；其中各个特征提取组包括：局部特征提取单元、全局语义特征提取单元和运算单元；

所述将所述目标模板特征和搜索区域特征分别输入其所在孪生网络分支的所述通道注意力模块和/或空间注意力模块，通过所述空间注意力模块提取与所述目标模板特征和搜索区域特征对应的空间注意力特征图的步骤包括：

将所述目标模板特征和搜索区域特征、或所述激励子单元输出的所述通道注意力特征图分别依次输入各个局部特征提取单元，通过各个特征提取子单元获取提取局部特征；

将各个局部特征输入所述全局语义特征提取单元，通过所述全局语义特征提取单元进行全局平均池化，获取到全局语义特征；

所述运算单元将所述全局语义特征与所述局部特征点乘以获得各个特征对应的系数，并对系数进行归一化处理，得到单通道特征；

所述单通道特征经过激活函数，再用激活函数的输出与各个所述局部特征进行点乘，输出得到多个空间注意力特征图。

3.根据权利要求2所述的基于注意力机制与孪生网络的目标跟踪方法，其特征在于，所述将所述通道注意力特征图和/或空间注意力特征图输入到所述区域提议网络单元，通过所述区域提议网络单元得到所述目标模板在所述搜索区域中的目标跟踪信息的步骤包括：

将所述通道注意力特征图和/或空间注意力特征图输入所述区域提议网络单元，依次经过非共享权值的卷积、深度交叉相关运算、边框回归分支或分类分支后，得到边框回归结果和特征分类结果。

4.根据权利要求2所述的基于注意力机制与孪生网络的目标跟踪方法，其特征在于，所述区域提议网络单元的个数为多个；

各个区域提议网络单元输入的特征图，为残差模块中不同卷积层输出的目标模板特征或搜索区域特征输入到所述通道注意力模块或所述空间注意力模块后，输出的通道注意力特征图或空间注意力特征图。