[发明专利]一种基于分裂注意力的人-物交互关系分类方法

说明书

本发明涉及计算机视觉技术领域，公开了一种基于分裂注意力的人‑物交互关系分类方法，构建基础网络块、特征分裂模块以及实例级自注意力模块组成分裂注意力神经网络；将底层特征输入分裂注意力神经网络中，得到人和物的外观特征BP；通过对特征进行裁剪、卷积、池化后得到人的局部动作特征，将图像映射为双通道二值图并提取人‑物对的空间特征，将空间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络，得到人‑物对的空间特征CP；将BP与CP通过自注意力机制进行特征融合，得到分类结果。与现有技术相比，本发明能够在不增加计算开销的前提下，更加精确地对相似交互关系进行人‑物交互关系分类。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于分裂注意力的人-物交互关系分类方法。

背景技术

人-物交互关系分类是计算机视觉领域的研究热点之一，其不仅具有重要的理论意义，而且具有广阔的应用前景。目前交互关系分类方法主要是从视频或者图像中精确的提取人体动作和空间上的特征表达，对人体行为进行建模。在对特征进行计算的过程中，通常使用带步长的卷积来减少图像空间的维度，这必然会丢失大量的空间信息。然而，对于下游任务，空间信息是至关重要的。针对交互关系的判别问题，现有的技术主要通过提取动作特征和空间特征去表达“人-物”对之间的特征关系；针对提取的特征对于交互关系区分度较低的问题，现有技术主要通过多种特征融合以丰富特征的表达效果。

在基于图像的人体动作识别方面，最近的文献主要使用局部特征、全局特征或不同维度的特征表达，提高特征质量、增加特征之间的区分度，从而提高分类效果。例如授权专利：基于多特征融合的人体交互行为识别方法、系统及装置.中国专利110619261A[P],2019.12.27。但这类方法仅将高层特征进行不同方式的融合，缺乏对低层特征的考虑，忽略了低层特征包含的更多位置、空间等细节信息。

在人-物交互关系分类方面，近期文献主要使用Attention机制以及多分支思想学习人-物交互中的动作特征与空间特征，从而实现对人-物交互关系分类。这一类方法需要使用注意力机制，但是受限于较小的感受野和单通道特征，必然会损失掉大量的空间信息，而对于目标检测和分类任务，空间信息是至关重要的。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于分裂注意力的人-物交互关系分类方法，能够在不增加计算开销的前提下，更加精确地对相似交互关系进行人-物交互关系分类。

技术方案：本发明提供了一种基于分裂注意力的人-物交互关系分类方法，包括如下步骤：

步骤1：输入带标签的图像数据，对图像数据进行像素平均并映射成三通道的特征向量；

步骤2：构建基础网络块、特征分裂模块以及实例级自注意力模块，将基础网络块、特征分裂模块和实例级自注意力模块组成分裂注意力神经网络；

步骤3：利用基础网络块取提图像的底层特征，将底层特征输入分裂注意力神经网络中，网络中将提取到的外观特征与底层特征融合，得到人和物的外观特征BP；

步骤4：利用基础网络块提取图像的底层特征，并通过对特征进行裁剪、卷积、池化后得到人的局部动作特征，将图像映射为双通道二值图并提取人-物对的空间特征，将空间特征与人的局部动作特征按通道拼接后输入分裂注意力神经网络，得到能够减少空间歧义的人-物对的空间特征CP；

步骤5：将BP与CP通过自注意力机制进行特征融合，得到最终分类结果。

进一步地，所述步骤2中基础网络块结构如下：所述基础网络块由4个不同深度的残差块组成的ResNet-50主干网以及一个独立的残差模块组成；

所述ResNet-50主干网结构为：首先构建一个两层的基础模块，包括步长为2的二维卷积层与最大池化层；再构建五个深度不同的残差块，深度分别为64，128，256，512，512；利用基础模块与前四个残差块生成ResNet-50作为基础网络；