[发明专利]一种基于文本的图像检索方法、装置及可读存储介质

权利要求书

1.一种基于文本的图像检索方法，其特征在于，包括以下步骤：

获取检索文本和多个候选图像的初始图像特征；

将所述检索文本转换为数字矩阵，根据所述数字矩阵提取初始文本特征，将所述数字矩阵与所述初始文本特征进行残差连接获得增强文本特征；

将所述增强文本特征分别融合每一所述初始图像特征得到对应的第一特征矩阵，将所述初始文本特征分别融合每一所述初始图像特征得到对应的第二特征矩阵；

将融合了相同初始图像特征的第二特征矩阵与第一特征矩阵同时输入特征交流网络得到对应的交流特征矩阵，其中所述特征交流网络包括并行的文本处理网络和图像处理网络，所述文本处理网络和所述图像处理网络包括数量相同的transformer层，交换所述文本处理网络和所述图像处理网络对应的每一transformer层中的查询特征，所述查询特征由每一所述transformer层的输入进行线性变化得到；

将所有所述交流特征矩阵输入头部预测网络以获取至少一目标图像。

2.根据权利要求1所述的基于文本的图像检索方法，其特征在于，获取每一所述候选图像的初始图像特征的方法包括：采用标注过的训练图像对YOLOv5模型进行预训练，将每一所述候选图像输入预训练后的YOLOv5模型获得对应的初始图像特征。

3.根据权利要求1所述的基于文本的图像检索方法，其特征在于，“将所述检索文本转换为数字矩阵，根据所述数字矩阵提取初始文本特征”包括：将所述检索文本输入Albert预训练模型，通过所述Albert预训练模型的编译器转换为数字矩阵后再根据所述数字矩阵提取初始文本特征。

4.根据权利要求1所述的基于文本的图像检索方法，其特征在于，“将融合了相同初始图像特征的第二特征矩阵与第一特征矩阵同时输入特征交流网络得到对应的交流特征矩阵”包括：所述第一特征矩阵输入文本处理网络中的transformer层进行线性变化得到每个词的词查询特征、词关键特征、词值特征；所述第二特征矩阵输入图像处理网络的transformer层进行线性变化得到每个像素的像素查询特征、像素关键特征、像素值特征；交换对应同一层transformer层进行所述线性变化 得到的词查询特征和像素查询特征；将待处理词的词查询特征和每一其余词的词关键特征进行线性变化得到对应每一其余词的词相关度，所述待处理词的词值特征和所有所述词相关度相乘后求和得到所述待处理词的词表达，遍历获取每一所述待处理词的词表达得到初始特征交流矩阵，转换所述初始特征交流矩阵得到交流特征数据。

5.根据权利要求4所述的基于文本的图像检索方法，其特征在于，将所述文本处理网络中每一所述transformer层的输入分别进行第一线性变化、第二线性变化、第三线性变化得到每个词的词查询特征、词关键特征、词值特征；将所述图像处理网络中每一所述transformer层的输入分别进行第一线性变化、第二线性变化、第三线性变化得到每个图像的图像查询特征、图像关键特征、图像值特征。

6.根据权利要求4所述的基于文本的图像检索方法，其特征在于，“转换所述初始特征交流矩阵得到交流特征数据”包括：将所述初始特征交流矩阵依次进行残差连接、归一化操作、全连接、残差连接、归一化操作得到交流特征矩阵。

7.根据权利要求1所述的基于文本的图像检索方法，其特征在于，“将所述数字矩阵与所述初始文本特征进行残差连接获得增强文本特征”包括：将所述初始文本特征输入卷积神经网络，对所述初始文本特征进行升维或降维使所述初始文本特征与所述数字矩阵的大小相同，再将所述初始文本特征与所述数字矩阵相同位置的数值进行相加，得到增强文本特征。

8.根据权利要求1所述的基于文本的图像检索方法，其特征在于，“将所述增强文本特征分别融合每一所述初始图像特征得到对应的第一特征矩阵”包括：将所述增强文本特征转换为一维文本向量，通过全连接层使所述一维文本向量与所述初始图像特征大小相同后分别融合每一所述初始图像特征得到对应的第一特征矩阵。