[发明专利]提取语义对齐特征的方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能中的分类模型技术领域，提供提取语义对齐特征的方法、装置、计算机设备和存储介质，包括：基于预设的卷积神经网络提取目标图片的特征图，并进行全局最大池化处理得到全局特征向量；其中，定位有全局特征向量的每一个分量在特征图中的索引；根据索引，获取全局特征向量每一个分量的构成元；对所有分量的构成元的网络参数进行大小排序，获取前N个目标网络参数对应的输入向量，作为目标输入向量；将各目标输入向量的分量与全局特征向量组合，得到多粒度语义对齐特征向量。本申请多粒度语义对齐特征向量中结合有效分量，具有多粒度特性。另外，本申请可应用于智慧交通领域中，从而推动智慧城市的建设。

技术领域

本申请涉及人工智能技术领域，特别涉及一种提取语义对齐特征的方法、装置、计算机设备和存储介质。

背景技术

基于深度学习算法建模、人脸识别、车辆识别等AI应用已达到了很好的效果，进入了效果提升的瓶颈期。当前的深度学习模型仍然有明显的不足，主要体现在语义对齐的处理和多粒度特性提取上，具体如下：

首先，目前的深度学习模型在特征图上进行区域划分非常刻板，可能将原本属于同一语义的特征图分割开来，从而无法形成有效语义；其次，特征图划分后的子区域经特征提取后，得到的仍然是高级语义，本质上无语义上的多粒度特性；最后，划分后的子区域对齐的特征，在语义上可能存在严重的不一致。

发明内容

本申请的主要目的为提供一种提取语义对齐特征的方法、装置、计算机设备和存储介质，旨在克服目前提取语义特征时无多粒度特性的缺陷。

为实现上述目的，本申请提供了一种提取语义对齐特征的方法，包括以下步骤：

基于预设的卷积神经网络提取目标图片的特征图，并通过所述卷积神经网络的池化层对所述特征图进行全局最大池化处理得到全局特征向量；其中，所述卷积神经网络的池化层在进行全局最大池化处理过程中，定位有所述全局特征向量的每一个分量在所述特征图中的索引；

根据所述全局特征向量的每一个分量在特征图中的索引，获取所述全局特征向量每一个分量的构成元；其中，每一个所述分量的构成元为所述卷积神经网络的池化层输出结果为所述全局特征向量的分量时，所需要对应输入至所述池化层的输入向量，以及所述池化层的网络参数；

对所有所述分量的构成元的网络参数进行由大到小排序，抽取排列在前的N个目标网络参数，并获取各个所述目标网络参数所在构成元中包括的输入向量，作为目标输入向量；

提取各个所述目标输入向量的分量，作为有效分量；

将所述全局特征向量与各个所述有效分量依次进行组合，得到多粒度语义对齐特征向量。

进一步地，所述基于预设的卷积神经网络提取目标图片的特征图，并通过所述卷积神经网络的池化层对所述特征图进行全局最大池化处理得到全局特征向量的步骤之前，包括：

获取图片样本数据，对所述图片样本数据采用放回抽样，得到三组训练样本集；

基于三组所述训练样本集分别对原始卷积神经网络进行训练，得到三个初始卷积神经网络；

随机选择其中两个初始卷积神经网络作为目标神经网络，并分别将无标注的第一图片输入至所述目标神经网络中进行多粒度语义对齐特征的提取，得到第一多粒度特征以及第二多粒度特征；

判断第一多粒度特征以及第二多粒度特征是否相同，若相同，则将其中任意一个多粒度特征标注至所述第一图片，组成第一训练对；

将所述第一训练对输入至未选择的所述初始卷积神经网络中进行迭代训练，得到训练完成的卷积神经网络作为所述预设的卷积神经网络。

进一步地，所述基于预设的卷积神经网络提取目标图片的特征图，并通过所述卷积神经网络的池化层对所述特征图进行全局最大池化处理得到全局特征向量的步骤之前，包括：