[发明专利]一种基于对比学习算法的多模态商标检索方法及系统

权利要求书

1.一种基于对比学习算法的多模态商标检索系统，其特征在于，包括数据处理单元、离线建模单元、向量检索单元；其中，

所述数据处理单元，用于分别对商标文本、商标图像进行清洗和格式规范化处理，得到所述商标文本、商标图像相应的结构化文本；

所述离线建模单元，用于训练进行商标图像编码的模型，并将经所述数据处理单元处理的商标图像相应的结构化文本进行编码，生成T维向量，用作向量检索；

所述向量检索单元，用于存储所有商标图像的向量数据和其他相关的标量信息，包括商标名称，商标分类，商标注册号id，并建立索引结构：将所述T维向量空间分解为P个Q维向量空间，其中T=P×Q，并对分解得到的Q维向量空间分别做量化，每个T维向量由P个Q维空间的量化编码组合表示；对每个Q维空间进行聚类，得到L个中心点，检索时计算和每个中心点的距离，以及查表获取每个向量到自己聚类中心点的距离；将需检索的商标向量和向量检索库中的每条数据进行距离计算，选取出最相近的前R个对比商标向量信息。

2.如权利要求1所述的多模态商标检索系统，其特征在于，

所述数据处理单元对商标原始文本，图像数据进行清洗和格式规范化处理，具体包括:

对商标文本数据，从商标数据库中提取出商标注册信息，所述注册信息包括商标名称、商标类型、商标描述信息，去除数据异常商标信息，将提取数据保存成为预定的结构化格式文件；

对商标图像数据，从商标库中读取的商标图像地址中获取图片文件，对所述图片文件格式进行解析，清洗异常图片，调整图像尺寸，对图像统一进行编码，按照商标注册信息、预定格式存储成预定的结构化文本。

3.如权利要求1所述的多模态商标检索系统，其特征在于，

所述离线建模单元将经所述数据处理单元处理的商标图像编码进行编码，生成预定维度的向量，具体包括：

加载所述数据处理单元所处理得到结构化的商标文本、商标图像数据，解析所述商标文本、商标图像数据，提取商标文本和图像信息，并进行配对；将商标文本图像对进行批次划分，每个批次的数量为n；使用图像编码转换器模型对每个批内的商标图像数据进行编码，输出图像向量数据，投影到多模态嵌入矩阵空间中；使用文本编码器预训练模型,对每个批内的商标文本数据进行编码，输出文本向量数据，投影到多模态嵌入矩阵空间中；

将编码后的配对文本图像向量放置到多模态嵌入矩阵空间的对角线位置，将N个配对向量记为训练的正样本，将原本并不对应的文本-图像向量对标记为负样本；

训练文本编码器和图像编码转换器的参数，最大化N 个正样本的余弦相似度，最小化N²-N 个负样本的余弦相似度，迭代W轮训练，生成模型，其中，W≥3；

使用训练后的模型对全量的商标图像数据进行编码，离线生成全部向量，输入到向量检索单元中。

4.如权利要求3所述的多模态商标检索系统，其特征在于，

所述图像编码转换器模型为基于计算机视觉的转换器模型；和/或

所述文本编码器预训练模型为全词进行掩码的中文预训练模型。

5.如权利要求1所述的多模态商标检索系统，其特征在于，还包括：

在线服务单元，将实时输入的检索文本或待检索图像转换成向量，输入到向量检索单元进行检索，整合后将最终结果返回。

6.如权利要求5所述的多模态商标检索系统，其特征在于，所述在线服务单元包括：

以文搜图接口模块，用于调用训练模型的文本编码接口，将输入文本编码成Z维编码向量，调用向量检索单元的检索服务，返回距离最近的前K条商标信息；

以图搜图接口模块，用于调用训练模型的图像编码接口，将输入图像编码成Z维编码向量，调用向量检索单元的检索服务，返回距离最近的前K条商标信息。

7.如权利要求1所述的多模态商标检索系统，其特征在于，还包括：

展示单元，用于接收在线服务单元的排序信息，读取商标注册号id、商标名称、商标描述、商标图像进行列表展示。