[发明专利]一种基于鲁棒相似保持的跨模态检索方法及系统

权利要求书

1.一种基于鲁棒相似保持的跨模态检索方法，其特征在于，包括：

将获取的训练集进行均等分组，生成多模态流数据，每组多模态流数据包括至少两种不同模态的样本特征及其对应的独热码标签；

构造哈达玛矩阵，将多模态流数据中相同类别的独热码标签替换为所述哈达玛矩阵中的相同行，得到各样本特征对应的鲁棒新标签；

使用所述鲁棒新标签指导哈希码的生成，并在哈希码学习过程中，为生成的哈希码学习对应的哈希比特权重，以及不同模态对应的哈希映射；所述哈希比特权重用于表征该哈希码的各比特位在样本特征表示中的重要程度；

接收查询样本，利用学习到的哈希映射得到对应的哈希码，将所述查询样本的哈希码与检索库中的哈希码进行异或运算，得到对应的二值标识，将所述二值标识与所述哈希比特权重相结合，计算加权海明距离，并根据加权海明距离返回检索结果。

2.如权利要求1所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，通过以下方式生成哈达玛矩阵：

；

其中，i为哈达玛矩阵的行，j为哈达玛矩阵的列。

3.如权利要求2所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，哈达玛矩阵的行数不小于所述多模态流数据中各样本的类别数。

4.如权利要求1所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，在哈希码学习过程中，将多模态流数据中的训练样本划分轮次；从第一轮次开始，对每个轮次训练样本依次进行哈希码学习，得到不同模态对应的哈希映射和哈希比特权重。

5.如权利要求4所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，针对第t轮训练样本，根据t时刻下不同模态的样本特征和t时刻下的鲁棒新标签构造目标函数，并引入过渡标签，为所述过渡标签加入正交约束；通过最小化目标函数，得到不同模态对应的哈希映射、哈希比特权重和第t轮训练样本的哈希码。

6.如权利要求5所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，所述目标函数F^（t）表示为：

；

其中，表示t时刻下不同模态的样本特征，表示t时刻下的鲁棒新标签，表示t时刻下的过渡标签矩阵，P表示特征映射，表示不同模态对应的哈希映射，表示t时刻下的哈希码，为比特权重矩阵，S^(t-1)表示新旧数据之间的成对相似关系矩阵，S^(t)表示新数据内部的成对相似矩阵，上标为（t-1）表示t时刻以前对应的数据，，，和为超参数，表示矩阵的2范数，上标T表示矩阵的转置，r表示哈希码的长度，n_t表示样本的数量，V表示过渡标签矩阵，I表示单位矩阵，V1表示过渡标签矩阵V与全1向量相乘得到的矩阵。

7.如权利要求6所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，接收查询样本，通过以下方式生成对应的哈希码：

；

其中，b(x_m)为查询样本对应的哈希码，为t时刻下的哈希映射，x_m为查询样本。

8.如权利要求1所述的基于鲁棒相似保持的跨模态检索方法，其特征在于，所述根据加权海明距离返回检索结果，包括：将加权海明距离按照从小到大的顺序进行排列，返回检索库中预设数量的排列靠前的近邻样本。