[发明专利]提取语义对齐特征的方法、装置、计算机设备和存储介质

权利要求书

1.一种提取语义对齐特征的方法，其特征在于，包括以下步骤：

基于预设的卷积神经网络提取目标图片的特征图，并通过所述卷积神经网络的池化层对所述特征图进行全局最大池化处理得到全局特征向量；其中，所述卷积神经网络的池化层在进行全局最大池化处理过程中，定位有所述全局特征向量的每一个分量在所述特征图中的索引；

根据所述全局特征向量的每一个分量在特征图中的索引，获取所述全局特征向量每一个分量的构成元；其中，所述卷积神经网络的池化层输出结果为所述全局特征向量的分量时，每一个所述分量的构成元为所需要对应输入至所述池化层的输入向量，以及所述池化层的网络参数；

对所有所述分量的构成元的网络参数进行由大到小排序，抽取排列在前的N个目标网络参数，并获取各个所述目标网络参数所在构成元中包括的输入向量，作为目标输入向量；

提取各个所述目标输入向量的分量，作为有效分量；

将所述全局特征向量与各个所述有效分量依次进行组合，得到多粒度语义对齐特征向量；

所述基于预设的卷积神经网络提取目标图片的特征图，并通过所述卷积神经网络的池化层对所述特征图进行全局最大池化处理得到全局特征向量的步骤之前，包括：

获取图片样本数据，对所述图片样本数据采用放回抽样，得到三组训练样本集；

基于三组所述训练样本集分别对原始卷积神经网络进行训练，得到三个初始卷积神经网络；

随机选择其中两个初始卷积神经网络作为目标神经网络，并分别将无标注的第一图片输入至所述目标神经网络中进行多粒度语义对齐特征的提取，得到第一多粒度特征以及第二多粒度特征；

判断第一多粒度特征以及第二多粒度特征是否相同，若相同，则将其中任意一个多粒度特征标注至所述第一图片，组成第一训练对；

将所述第一训练对输入至未选择的所述初始卷积神经网络中进行迭代训练，得到训练完成的卷积神经网络作为所述预设的卷积神经网络。

2.根据权利要求1所述的提取语义对齐特征的方法，其特征在于，所述基于预设的卷积神经网络提取目标图片的特征图，并通过所述卷积神经网络的池化层对所述特征图进行全局最大池化处理得到全局特征向量的步骤之前，包括：

采集行人的预选图片；所述预选图片中包括有行人；

判断所述预选图片是否满足预设的清晰度条件；

若满足，则将所述预选图片进行预处理后，作为所述目标图片输入至预设的卷积神经网络中。

3.根据权利要求2所述的提取语义对齐特征的方法，其特征在于，所述判断所述预选图片是否满足预设的清晰度条件的步骤，包括：

获取所述预选图片的灰度图像，获取所述灰度图像中每个像素点的灰度值，并计算出平均灰度值；

获取所述灰度图像中大于所述平均灰度值的第一灰度值，以及小于所述平均灰度值的第二灰度值；

计算各个所述第一灰度值与所述平均灰度值之间的第一差值，并计算各个所述第一差值的平均值得到第一值；

计算所述平均灰度值与各个所述第二灰度值之间的第二差值，并计算各个所述第二差值的平均值得到第二值；

计算所述第一值与所述第二值的平均值，并判断所述第一值与所述第二值的平均值是否大于预设值；

若大于，则判定所述预选图片满足预设的清晰度条件。

4.根据权利要求2所述的提取语义对齐特征的方法，其特征在于，所述将所述预选图片进行预处理后，作为所述目标图片输入至预设的卷积神经网络中的步骤，包括：

通过预设的DPM模型提取每个行人在所述预选图片中的坐标信息；

根据每个所述行人在所述预选图片中的坐标信息，从所述预选图片中分割出每个行人的目标图像；

创建一个空白图层，并将每个行人的所述目标图像平铺在所述空白图层中，得到所述目标图片。