[发明专利]图像特征提取方法及装置、存储介质和终端

说明书

本发明公开了一种图像特征提取方法及装置、存储介质和终端，其中方法使用了训练后的图像特征提取模型，图像特征提取模型包括视觉区域特征提取单元用于对图像数据进行初步特征提取以获取区域关系属性特征和网格块局部特征；属性空间信息提取单元用于对网格块局部特征进行属性空间信息提取，以获取属性空间嵌入向量；属性语义信息提取单元用于对文本数据进行属性语义信息提取获取属性语义嵌入向量；属性关系提取模块用于基于属性空间嵌入向量和属性语义嵌入向量建模属性关系获取建模了空间维度属性关系和语义维度属性关系的属性关系属性特征。本发明解决了对象属性识别中特征提取方法对图像中关系的建模不够充分，所导致的对象属性识别精度低的问题。

技术领域

本发明涉及计算机视觉与图像处理技术领域，尤其涉及一种图像特征提取方法及装置、存储介质和终端。

背景技术

对象属性识别指的是识别图像内对象所包含的一系列真实性质，例如人脸图像中人脸包含年龄、性别、是否戴眼镜等属性，行人图像中行人包含是否戴帽子、上身衣物颜色、下身衣物颜色等属性。对象属性识别能广泛应用于不同领域，例如针对行人图像的行人属性识别(也称行人属性识别)能够为行人重识别算法判断行人类别提供额外的属性依据，广泛应用于视频监控领域。特征提取是对象属性识别的一个重要环节，提取到判别能力强的属性特征能够有效地提升对象属性识别精度。因此，研究对象属性识别中的特征提取具有重要意义。

对象属性识别中常用的特征提取方法包括三类，分别为基于全局特征的特征提取方法、基于局部特征的特征提取方法和基于关系的特征提取方法。基于全局特征的特征提取方法为所有属性提取单一的全局特征表示，利用单个全局特征实现所有属性的识别。基于局部特征的特征提取方法首先定位属性位置，其次按照位置信息提取属性特征，最后利用属性特征进行属性识别。以上两类方法属于较为早期的研究方法，忽视了对象属性识别中关系的重要性。对象属性识别需要区域关系，例如识别行人图像中行人属性“年龄”时，人类会关注头部区域、上身区域、下身区域以及综合考虑这三个区域。受到上述现象的启发，基于关系的特征提取方法在提取属性特征的同时会尝试建立图像的区域关系。对象属性识别需要属性关系，属性一般也具备较强的关联关系，例如行人图像中行人属性“女性”一般和属性“连衣裙”同时出现，属性“连衣裙”的出现与否将极大地影响属性“女性”出现的概率。受到上述现象的启发，由于属性存在空间维度和语义维度的信息，基于关系的特征提取方法在提取属性特征的同时也会尝试建立这两个维度上的属性关系。

目前的方法在提取属性特征时对关系的建模不够充分，常常忽视对区域关系或者空间维度属性关系的建模，导致属性特征判别能力弱，对象属性识别精度低。

发明内容

本发明所要解决的技术问题是现有的图像特征提取方法在提取属性特征时对关系的建模不够充分，常常忽视对区域关系或者空间维度属性关系的建模，导致属性特征判别能力弱，对象属性识别精度低。

为了解决上述技术问题，本发明提供了一种图像特征提取方法，包括：

获取对象属性识别数据集，所述对象属性识别数据集包括多个对象属性识别数据，所述对象属性识别数据包括图像数据以及所述图像数据中目标对象属性的文本描述数据；

基于训练后的图像特征提取模型对所述对象属性识别数据集中每个对象属性识别数据进行特征提取，以获取每个所述对象属性识别数据的图像数据中目标对象的区域关系属性特征和属性关系属性特征；

其中，所述图像特征提取模型包括视觉区域特征提取单元、属性空间信息提取单元、属性语义信息提取单元和属性关系提取单元；

所述视觉区域特征提取单元，用于对所述图像数据进行初步特征提取，以获取区域关系属性特征和网格块局部特征；

所述属性空间信息提取单元，用于对所述网格块局部特征进行属性空间信息提取，以获取属性空间嵌入向量；

所述属性语义信息提取单元，用于对所述文本描述数据进行属性语义信息提取，以获取属性语义嵌入向量；