[发明专利]属性信息的获取方法和装置、电子设备和存储介质

说明书

本申请提供了一种属性信息的获取方法和装置、电子设备和存储介质，其中，该方法包括：获取目标对象的目标文本数据和与所述目标文本数据具有关联关系的目标图像数据；提取所述目标文本数据的目标语义特征，以及提取所述目标图像数据的目标图像特征；使用所述目标图像特征和所述目标语义特征对所述目标对象的目标属性进行预测，得到所述目标属性的目标属性信息。通过本申请，解决了相关技术中的属性值补齐的方式存在由于信息提取不准确导致的属性信息补齐的效率低的问题。

技术领域

本申请涉及计算机领域，尤其涉及一种属性信息的获取方法和装置、电子设备和存储介质。

背景技术

在电商场景中，产品属性信息对于诸如客服、商品推荐、商品检索等任务均需比较重要。然而，由于信息录入等原因，有些产品的产品属性信息缺失现象非常严重。例如，当用户询问客服人员服饰的领型时，如果商品属性表中并没有领型的描述，那么，客服人员将很难对此问题作出回答。

目前，产品属性值补齐的方式大多集中于使用产品的描述信息进行补齐。然而，由于产品描述方式等原因，上述属性值补齐的方式存在由于信息提取不准确导致的属性信息补齐的效率低的问题。

发明内容

本申请提供了一种属性信息的获取方法和装置、电子设备和存储介质，以至少解决相关技术中的属性值补齐的方式存在由于信息提取不准确导致的属性信息补齐的效率低的问题。

根据本申请实施例的一个方面，提供了一种属性信息的获取方法，包括：获取目标对象的目标文本数据和与所述目标文本数据具有关联关系的目标图像数据；提取所述目标文本数据的目标语义特征，以及提取所述目标图像数据的目标图像特征；使用所述目标图像特征和所述目标语义特征对所述目标对象的目标属性进行预测，得到所述目标属性的目标属性信息。

可选地，提取所述目标文本数据的所述目标语义特征包括：使用目标双向语言模型对所述目标文本数据进行编码处理，得到所述双向语言模型输出的所述目标语义特征，其中，所述目标双向语言模型为预训练的、用于提取输入文本数据中的每个文本单元的语义表示的语言表示模型。

可选地，提取所述目标图像数据的所述目标图像特征包括：将所述目标图像数据输入到目标卷积神经网络中，其中，所述目标卷积神经网络为预训练的、用于提取输入图像的图像特征的残差网络；提取所述目标卷积神经网络的全连接层的前一个卷积层所输出的特征，得到所述目标图像特征。

可选地，使用所述目标图像特征和所述目标语义特征对所述目标对象的所述目标属性进行预测，得到所述目标属性的所述目标属性信息包括：将所述目标图像特征与所述目标语义特征进行跨模态注意力融合，得到目标融合特征；将所述目标融合特征输入到目标属性预测模型，得到所述目标属性预测模型输出的所述目标属性信息。

可选地，所述目标语义特征包含所述目标文本数据中的每个文本单元的第一编码向量；将所述目标图像特征与所述目标语义特征进行跨模态注意力融合，得到所述目标融合特征包括：使用所述目标图像特征对所述目标语义特征进行跨模态注意力编码，得到所述每个文本单元的第二编码向量；使用跨模态注意力过滤器对所述每个文本单元的所述第二编码向量进行过滤，得到所述每个文本单元的第三编码向量，其中，所述跨模态注意力过滤器用于按位过滤与所述目标图像数据无关的文本单元的所述第二编码向量中的图像信息；将所述每个文本单元的所述第一编码向量与所述每个文本单元的所述第三编码向量进行拼接，得到所述每个文本单元的目标编码向量，其中，所述目标融合特征包括所述每个文本单元的所述目标编码向量。

可选地，使用所述目标图像特征对所述目标语义特征进行跨模态注意力编码，得到所述每个文本单元的所述第二编码向量包括：根据第一注意力向量、第二注意力向量和跨模态映射矩阵，确定所述每个文本单元的所述第二编码向量，其中，所述第一注意力向量为与所述目标语义特征对应的文本模态的注意力向量，所述第二注意力向量为与所述目标语义特征和所述目标图像特征对应的文本与图片模态的跨模态注意力向量，所述跨模态映射矩阵用于将所述第二注意力向量从视觉语义空间映射到文本语义空间。