[发明专利]一种基于可定制语义的外观专利图像检索方法与系统

权利要求书

1.一种基于可定制语义的外观专利图像检索方法，其特征在于，所述方法包括：

从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；

利用ResNet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络ResNet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；

构建并训练外观专利初次筛选模型，首先利用Glove词编码器对文本进行编码获得t′，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对网络模型进行训练，并形成外观专利初次筛选模型；

构建并训练外观专利最终筛选模型，利用ResNet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；

用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在初次筛选出的外观专利的范围内进行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。

2.如权利要求1所述的基于可定制语义的外观专利图像检索方法，其特征在于，所述从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图，具体为：

用洛迦诺分类法对数据库中的外观专利进行分类，获取分类名称与外观专利的文本(t)-专利(p)对，用于后续网络模型的训练；

使用生成对抗神经网络生成外观专利图像的手绘草图s，所述方法由两个生成模型、两个判别模型以及一个分类器组成，生成对抗网络中的生成器均使用了u-net结构，其中一个生成器使用真实图像作为输入，生成对应的手绘草图，另一个生成器使用手绘草图作为输入，生成真实图像，生成对抗网络中的判别器使用卷积神经网络对生成的手绘草图和图像进行判断，若判断当前图像是计算机生成出来的，则判定为0，否则设为1，生成对抗网络中的分类器使用卷积神经网络对生成的图像进行分类。

3.如权利要求1所述的基于可定制语义的外观专利图像检索方法，其特征在于，所述利用ResNet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络ResNet来获取所述外观专利图像p的语义特征并存储，构建语义特征库，具体为：

所述方法利用卷积神经网络进行训练得到语义特征图，对语义特征图进行分类和回归训练，得到图像内的视觉语义，使用预训练的卷积神经网络ResNet来获取外观专利图像p的语义特征并存储起来，用于后续网络模型的训练和使用，具体公式如下：