[发明专利]特征提取网络训练方法以及相关方法和装置

说明书

本申请提供特征提取网络训练方法以及相关方法和装置。该特征提取网络训练方法包括：获得图像训练集，图像训练集包括同一目标的两种模态的图像；将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征；利用每个目标的两种模态的图像特征的差异计算损失；在损失减小的方向，更新特征提取网络的参数。本申请可以使得通过特征提取网络提取出的同一目标的两种模态的图像特征更加相似，解决了不同模态之间的语义鸿沟，将本申请训练出的特征提取网络应用到图像搜索中，可以解决不同模态无法互相搜索的问题。

技术领域

本申请涉及图像技术领域，特别是涉及特征提取网络训练方法以及相关方法和装置。

背景技术

越来越多监控摄像头的使用，产生了海量的视频数据，需要在这些数据中快速检索到目标，并进行相关分析，是一项重要的任务。以图搜图技术能够在图片库中快速检索到目标，已广泛应用在抓捕嫌疑犯，和寻找走失老人、儿童中，并取得较好的效果。但以图搜图技术存在红外和可见光等不同模态图像之间的语义鸿沟，存在不同模态图像无法互相搜索的问题。

发明内容

本申请提供特征提取网络训练方法以及相关方法和装置，使得通过特征提取网络提取出的同一目标的两种模态的图像特征更加相似，解决了不同模态之间的语义鸿沟，将本申请训练出的特征提取网络应用到图像搜索中，可以解决不同模态无法互相搜索的问题。

为达到上述目的，本申请提供一种特征提取网络的训练方法，该方法包括：

获取图像训练集，图像训练集包括同一目标的两种模态的图像；

将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征；

利用每个目标的两种模态的图像特征的差异计算损失；

在损失减小的方向，更新特征提取网络的参数。

其中，在损失减小的方向，更新特征提取网络的参数，包括：

利用损失梯度反向传播更新特征提取网络的参数。

其中，两种模态包括第一模态和第二模态，将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征，之后包括：

将至少一个目标的第一模态的图像特征输入到第一图像分类器；基于第一图像分类器的分类结果，并利用梯度反向传播算法确定特征提取网络的第一组参数；

将至少一个目标的第二模态的图像特征输入到第二图像分类器；基于第二图像分类器的分类结果，并利用梯度反向传播算法确定特征提取网络的第二组参数；

利用损失梯度反向传播更新特征提取网络的参数，包括：利用损失梯度反向传播确定特征提取网络的第三组参数；

将特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理，得到特征提取网络的最终参数。

其中，将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征，之后包括：

将每一目标的两种模态的图像特征连接，得到每一目标的融合特征；

将至少一个目标的融合特征输入到第三图像分类器；基于第三图像分类器的分类结果，并利用梯度反向传播算法确定特征提取网络的第四组参数；

将特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理，得到特征提取网络的最终参数，包括：

将特征提取网络的第一组参数、第二组参数、第三组参数和第四组参数进行加权处理，得到特征提取网络的最终参数。

其中，两种模态的图像选自可见光图像、深度图像、红外图像、素描图像和3D图像中的两种。

其中，利用每个目标的两种模态的图像特征的差异计算损失，包括：