[发明专利]物品关系判别方法和装置

权利要求书

1.一种物品关系判别方法，其特征在于，包括：

获取待判别的两个目标物品的属性数据、图像数据和标题数据；

依据所述两个目标物品的属性数据以及预先确定的多种相似度算法确定所述两个目标物品的多种相似度，将所述多种相似度组合为所述两个目标物品的属性匹配特征；

将所述两个目标物品的图像数据输入预先训练的图像编码模型，得到所述两个目标物品的初始图像特征；对所述初始图像特征进行多种运算并将运算结果组合为所述两个目标物品的图像匹配特征；

将所述两个目标物品的标题数据组合之后输入预先训练的文本编码模型，得到所述两个目标物品的标题匹配特征；

使用所述属性匹配特征、所述图像匹配特征以及所述标题匹配特征确定所述两个目标物品的多模态聚合向量，将确定的多模态聚合向量输入预先训练的物品关系分类模型，得到所述两个目标物品之间的关系。

2.根据权利要求1所述的方法，其特征在于，所述使用所述属性匹配特征、所述图像匹配特征以及所述标题匹配特征确定所述两个目标物品的多模态聚合向量，包括：

对所述属性匹配特征进行归一化和非线性映射，得到属性特征向量；

对所述图像匹配特征进行降维处理、归一化和非线性映射，得到具有预设维度数量的图像特征向量；

对所述标题匹配特征进行卷积处理和非线性映射，得到具有所述预设维度数量的标题特征向量；

将所述属性特征向量、所述图像特征向量和所述标题特征向量组合为所述多模态聚合向量。

3.根据权利要求1所述的方法，其特征在于，所述对所述初始图像特征进行多种运算并将运算结果组合为所述两个目标物品的图像匹配特征，包括：

将所述两个目标物品的初始图像特征相减并取绝对值，得到差值特征；

将所述两个目标物品的初始图像特征中的相同位置元素相乘，得到乘积特征；

将所述差值特征与所述乘积特征组合为所述图像匹配特征。

4.根据权利要求2所述的方法，其特征在于，所述对所述属性匹配特征进行归一化和非线性映射，得到属性特征向量，包括：

对所述属性匹配特征执行L2范数归一化，将完成归一化的所述属性匹配特征依次送入第一全连接层和激活函数，得到所述属性特征向量。

5.根据权利要求2所述的方法，其特征在于，所述对所述图像匹配特征进行降维处理、归一化和非线性映射，得到具有预设维度数量的图像特征向量，包括：

对所述图像匹配特征执行广义平均池化和批标准化；

将完成广义平均池化和批标准化的所述图像匹配特征送入第二全连接层和激活函数，得到所述图像特征向量。

6.根据权利要求2所述的方法，其特征在于，所述标题匹配特征为高度和宽度都大于1的矩阵；以及，所述对所述标题匹配特征进行卷积处理和非线性映射，得到具有所述预设维度数量的标题特征向量，包括：

使用具有预设数量以及第一尺寸的卷积核对所述标题匹配特征进行卷积处理，将卷积处理后的所述标题匹配特征送入激活函数并执行最大池化，得到第一向量；其中，第一尺寸中的宽度等于所述标题匹配特征的宽度，第一向量的维度数量等于所述预设数量，所述预设数量为所述预设维度数量的一半；

使用具有所述预设数量以及第二尺寸的卷积核对所述标题匹配特征进行卷积处理，将卷积处理后的所述标题匹配特征送入激活函数并执行最大池化，得到第二向量；其中，第二尺寸中的宽度等于所述标题匹配特征的宽度，第二尺寸中的高度不等于第一尺寸中的高度，第二向量的维度数量等于所述预设数量；

将第一向量和第二向量组合为所述标题特征向量。

7.根据权利要求4-6任一所述的方法，其特征在于，所述物品关系分类模型通过以下步骤进行训练：

获取预先得知物品关系的多个物品对、以及每一物品对的多模态聚合向量；以该多模态聚合向量为训练样本、所述多个物品对的物品关系为所述训练样本的标签训练所述物品关系分类模型；

所述多种相似度包括以下相似度中的多种：词频相似度、词频-逆文档频率相似度、BM25相似度、杰卡德相似度、Ochiai相似度；所述激活函数为PReLU函数；所述物品关系包括相同、相似和不同。