[发明专利]一种基于对比学习算法的多模态商标检索方法及系统

说明书

本发明公开了一种基于对比学习算法的多模态商标检索方法及系统，该方法包括：分别对商标文本、商标图像进行清洗和规范化处理，得到结构化文本；训练进行商标图像编码的模型，将已处理的商标图像进行编码，生成多维向量；建立索引结构，向量空间分解并分别量化，用量化编码组合表示；对每个空间进行聚类，检索时计算距离；将需检索的商标向量和向量检索库中的每条数据进行距离计算，选取出最相近的前R个对比商标向量信息。本发明使用了对比学习方法，连接了商标的文本特征和图像特征，能够支持输入一段描述文本，在商标库中对商标图像所表达的语义信息进行近似搜索。进一步提升商标检索的准确率。

技术领域

本发明涉及文本图形检索技术领域，具体涉及一种多模态商标检索方法及系统。

背景技术

商标是公司、产品或服务的象征，它与企业的商品质量、服务和管理紧密结合。它在工商社会中起着非常重要的作用，是一个公司及其产品的重要属性。商标是独一无二的，为了使一个商标受到法律保护，它必须在商标局正式注册。为了保护注册商标的合法权益，打击假冒、挪用注册商标的违法行为，有必要对注册商标进行检索，并与注册商标进行比较，以确定两者是不同的或不相似的，从而具有注册资格。商标保护的功能是使商标注册人和商标使用权受法律保护，通知他人不得使用与其相同或相似的商标，追究侵犯他人注册商标专用权的不法行为人的相关责任。确保绝大多数消费者能够通过商标区分不同的商品或服务提供者。同时，最大限度地保护消费者和企业的合法权益。

随着我国经济的发展和全球化进程的加快，商标数量逐年增加，增加了商标重复率检查的难度，使得商标申请周期变长，并导致检索效率慢，检索准确率低，对社会经济发展及企业的经济效益有一定负面影响。

目前常见的现有的检索方法，主要有两种方式：一是传统的图形要素筛选检索，二是基于商标图像特征的“以图查图”商标检索。

但是对于图形商标和部分文字商标，现有的商标检索系统，缺少商标的视觉信息和文本信息间的连接

发明内容

鉴于此，本发明提供的一种基于对比学习算法的多模态商标检索方法及系统，可以进一步提升商标检索的准确率，避免新申请商标因在先障碍而被驳回的情况，以及降低侵权风险。

为了实现上述目的，本发明提供如下技术方案：

本发明一方面提供了一种基于对比学习算法的多模态商标检索系统，包括数据处理单元，离线建模单元，向量检索单元；其中，

数据处理单元，用于分别对商标文本、商标图像进行清洗和格式规范化处理，得到所述商标文本、商标图像相应的结构化文本；

离线建模单元，用于训练进行商标图像编码的模型，并将经所述数据处理单元处理的商标图像编码进行编码，生成T维向量，用作向量检索；

向量检索单元，用于存储所有商标图像的向量数据和其他相关的标量信息，包括商标名称，商标分类，商标注册号id，并建立索引结构：将该T维向量空间分解为P个Q维向量空间，其中T=P×Q，并对分解得到的Q维向量空间分别做量化，每个T维向量由P个Q维空间的量化编码组合表示；对每个Q维空间进行聚类，得到L个中心点，检索时计算和每个中心点的距离，以及查表获取每个向量到自己聚类中心点的距离；将需检索的商标向量和向量检索库中的每条数据进行距离计算，选取出最相近的前 R个对比商标向量信息。

更适宜地，数据处理单元对商标原始文本，图像数据进行清洗和格式规范化处理，具体包括:

对商标文本数据，从商标数据库中提取出商标注册信息，所述注册信息包括商标名称、商标类型、商标描述信息，去除数据异常商标信息，将提取数据保存成为预定的结构化格式文件；

对商标图像数据，从商标库中读取的商标图像地址中获取图片文件，对所述图片文件格式进行解析，清洗异常图片，调整图像尺寸，对图像统一进行编码，按照商标注册信息、预定格式存储成预定的结构化文本。