[发明专利]视频图像数据的处理方法及装置

说明书

本申请公开了一种视频图像数据的处理方法及装置。方法的一具体实施方式包括：执行如下训练操作，直至得到训练后的特征提取网络：从视频图像数据中选取视频图像，并通过初始特征提取网络提取视频图像的特征信息；确定特征信息对应于预设层面集合中的每一个层面的层面特征信息；对于预设层面集合中除目标层面外的每个层面，预测视频图像在该层面下所属的类别信息，其中，目标层面表征视频图像的标签所表征的类别信息所属的层面；根据预设的损失函数，更新初始特征提取网络，其中，损失函数用于表征最小化视频图像在各层面下一一对应的层面特征信息与类别信息之间的距离。本申请提高了特征提取网络所提取的特征信息的全面性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及一种视频图像数据的处理方法及装置。

背景技术

目前，基于深度学习的特征提取网络，大多依赖于大规模的视频数据进行预训练。但在预训练数据集中，由于单个训练数据往往仅标注视频数据对应于单个层面的标签信息，使得训练得到的视频图像特征在不同场景下难以广泛的应用。与此同时，由于视频图像内容的复杂性，通常会包含物体、场景、交互、动作等不同层面的信息，如果预训练数据集仅仅包含某一个层面的标签信息，而完全丢掉其他层面的信息，那么所提取的视频图像特征对于视频的描述并不是完整的，也容易让视频图像特征的训练过拟合在某一方面的信息上。

发明内容

本申请实施例提出了一种视频图像数据的处理方法及装置。

第一方面，本申请实施例提供了一种视频图像数据的处理方法，包括，根据视频图像数据对特征提取网络执行如下训练操作，直至得到训练后的特征提取网络：从视频图像数据中选取视频图像，并通过初始特征提取网络提取视频图像的特征信息；确定特征信息对应于预设层面集合中的每一个层面的层面特征信息；对于预设层面集合中除目标层面外的每个层面，预测视频图像在该层面下所属的类别信息，其中，目标层面表征视频图像的标签所表征的类别信息所属的层面；根据预设的损失函数，更新初始特征提取网络，其中，损失函数用于表征最小化视频图像在各层面下一一对应的层面特征信息与类别信息之间的距离。

在一些实施例中，上述确定特征信息对应于预设层面集合中的每一个层面的层面特征信息，包括：基于包括注意力机制的特征映射层，将特征信息映射至特征空间，得到对应于预设层面集合中的每一个层面的层面特征信息。

在一些实施例中，上述对于预设层面集合中除目标层面外的每个层面，预测视频图像在该层面下所属的类别信息，包括：对于预设层面集合中除目标层面外的每个层面，通过该层面对应的分类模型，预测视频图像在该层面下所属的类别，并将类别映射至特征空间，得到视频图像在该层面下的类别信息，其中，分类模型用于表征视频图像与视频图像在该层面下所属的类别之间的对应关系。

在一些实施例中，上述根据预设的损失函数，更新初始特征提取网络，包括：根据第一损失函数和第二损失函数，更新初始特征提取网络，其中，第一损失函数表征最小化目标层面对应的层面特征信息和标签对应的类别信息之间的距离，最大化目标层面对应的层面特征信息与目标层面下除标签对应的类别信息外的类别信息之间的距离，第二损失函数表征最小化预设层面集合中除目标层面外的每个层面一一对应的层面特征信息与类别信息之间的距离。

在一些实施例中，上述方法还包括：以所获取的待处理视频为输入，通过训练后的特征提取网络进行特征提取，得到待处理视频对应的特征信息。

在一些实施例中，上述方法还包括：基于特征信息进行信息识别，确定待处理视频中的目标对象。