[发明专利]图像搜索方法和装置、电子设备、存储介质、程序

说明书

本发明实施例公开了一种图像搜索方法和装置、电子设备、存储介质、程序，其中方法包括：对接收待处理数据进行处理，获得对应的数据特征；利用表征网络，对所述图数据特征执行映射操作，得到对应所述数据特征的映射特征；基于所述映射特征从所述待查图像集中获得对应的图像作为目标图像，所述待查图像集中包括至少一个图像。本发明上述实施例通过表征网络进行映射，可以同时表征图像和文字的特征信息，并通过映射特征之间的距离表征数据之间的相似度，基于映射后的特征的相似度进行查找，即可实现以词搜图和以图搜图。

技术领域

本发明涉及计算机视觉技术，尤其是一种图像搜索方法和装置、电子设备、存储介质、程序。

背景技术

图片分类、图片搜索的建模是计算机视觉物体识别、场景识别领域的重要问题，在很多领域有重要应用。其中，图片分类可用于知识图谱、场景系统的构建、实现“记忆相册”等人性化的功能。图片搜索大致分为按照词语搜索(即：输入一个词，搜索与之相关的图片)和按照图片搜索(即：输入一个图片，输出与之相似的图片)等。

然而图片分类、图片搜索的建模是十分复杂的。

对于图片分类模型，首先，现实中存在的类别过多，大类如动物、植物、物品，小类如人、猫、狗、树、花、车等；此外，同一张图片往往会拥有多个类别，例如，一匹马在草原上奔跑，就同时包含了马、草原、天空等多个信息。上述原因会增大图片分类模型的训练难度而且降低图片分类的准确率。

对于图片搜索模型，同样现实中存在的类别总量过大的问题；并且对于不同的客户，其需求的类别也不尽相同，某些客户相册中存在较多的图片可能是比较罕见的类别，这些类别在搜索模型训练的时候基本不可能被完全覆盖。上述原因会增大图片搜索模型的训练难度而且降低图片搜索的准确率。

发明内容

本发明实施例提供了一种图像搜索技术。

本发明实施例提供的图像搜索方法，其特征在于，包括：

对接收待处理数据进行处理，获得对应的数据特征，所述待处理数据包括：待处理图像和/或待处理文字；

利用表征网络，对所述数据特征执行映射操作，得到对应所述数据特征的映射特征；文字所述映射特征用于同时表征图像和文字的特征信息，并通过映射特征之间的距离表征数据之间的相似度；

基于所述映射特征从待查图像集中获得对应的图像作为目标图像，所述待查图像集中包括至少一个图像。

在基于本发明上述方法的另一个实施例中，所述对接收的待处理数据进行处理，获得对应的数据特征，包括：

利用卷积神经网络，对待处理图像进行处理，得到对应所述待处理图像的图像特征；

和/或，利用自然语言处理网络，对待处理文字进行处理，得到对应所述待处理文字的文字特征。

在基于本发明上述方法的另一个实施例中，所述利用自然语言处理网络，对待处理文字进行处理，得到对应所述待处理文字的文字特征，包括：

将待处理文字输入自然语言处理网络，通过所述自然语言处理网络中的输入层将样本文字分解并转化为独热码；

所述独热码通过隐层和输出层得到对应所述样本文字的预测文字特征向量。

在基于本发明上述方法的另一个实施例中，所述利用自然语言处理网络，对待处理文字进行处理，得到对应所述待处理文字的文字特征之前，还包括：

基于自然语言处理网络获取样本文字的预测文字特征向量，基于所述样本文字的预测文字特征向量对所述自然语言处理网络进行训练。

在基于本发明上述方法的另一个实施例中，所述基于所述样本文字的预测文字特征向量对所述自然语言处理网络进行训练，包括：