[发明专利]一种基于标签语义增强的鲁棒在线跨模态哈希检索方法

权利要求书

1.一种基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述方法的具体步骤如下：

Step1、获取跨模态数据集，选择一定比例的原始训练数据集的标签来模拟缺失标签和错误标签用作训练标签；此外，将数据集中的训练集分为t轮数据块来模拟流数据；其中每轮数据块包含不同模态的样本特征及其对应的语义标签；

Step2、构建目标函数学习，利用被分为t轮的训练数据集来模拟流数据对目标函数进行在线训练；当第t轮数据块到达时，保存前t-1轮数据块训练得到的哈希码不变，学习第t轮数据块的哈希码并保存，并根据第t轮数据块的实时新数据来在线更新哈希函数，得到训练数据每个模态特征映射到哈希码的投影矩阵；

Step3、进行待检索样本的跨模态检索：首先输入查询样本，根据投影矩阵和待检索样本不同模态的特征矩阵得到待检索样本的哈希码，将查询样本的哈希码代入检索集中进行查询，通过计算查询集与检索集中各样本间的汉明距离来获取查询结果。

2.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于，所述不同模态的样本特征至少包括：图像文本模态的样本特征和文本模态的样本特征。

3.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step1中，为了保证模型的泛化能力，数据进入模型训练前，对原始标签进行一定比例的选择来模拟缺失标签和错误标签以及数据分块都是使用随机的方法来处理。

4.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step2中，所获得的目标函数具体过程包括：通过低秩和稀疏约束来缓解噪声标签，同时，通过样本实例与标签的依赖关系，利用样本在特征空间中的表示来预测标签；为了增强语义信息，上述具体过程不仅保留了新数据之间的相似性，而且还通过块相似性来建立新旧数据之间的语义联系，此外还挖掘了多标签语义相关性。

5.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step2中的目标函数包括两个数据部分，第t轮新到达的数据和前t-1轮累积的旧数据块。

6.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step2中哈希函数的学习指的对每个模态采用一个简单的线性回归模型作为哈希函数，将训练样本的每个模态特征映射到哈希码中，得到训练数据每个模态特征映射到哈希码的投影矩阵。

7.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step2中目标函数并非是最优的，需要对该函数进行优化，由于该目标函数是一个非凸问题，但是当固定其他的变量，更新一个矩阵变量时，这时的函数是一个凸问题，方便进行目标函数的更新；采用此交替迭代算法来更新矩阵变量，直到目标函数收敛或达到最大迭代次数，最终得到最优的哈希码和哈希函数。

8.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step3中待检索样本的跨模态检索，利用学习到的哈希函数为查询样本生成哈希码表示，获得检索结果，包括，获得查询样本的哈希码与存储的所有训练数据的哈希码间的汗明距离，对汗明距离按照由小到大的顺序进行排序，按顺序输出训练集中的样本作为检索结果。

9.根据权利要求1所述的基于标签语义增强的鲁棒在线跨模态哈希检索方法，其特征在于：所述Step3中目标函数为：

其中‖·‖_*表示核范数，‖·‖₁表示l₁范数，W_i^(t)为投影矩阵，φ(.)表示RBF核函数，

和分别表示新旧数据的内核特征，Z^(t)和分别表示新旧数据标签潜在语义相关性的矩阵；M^(t)和分别表示新旧数据恢复的地面真实标签矩阵，E^(t)和分别表示新旧数据中的噪声矩阵，V^(t)和表示连续变量矩阵，B^(t)和分别表示新旧数据的哈希码，G^(t)和是归一化的恢复标签矩阵Z^(t)M^(t)和L^(t)表示新数据带噪声的标签矩阵，r为哈希码长度，n_t为新数据块大小，I_r为单位矩阵，0_r表示维度为r×r的零矩阵，μ、λ、α、β、γ和δ分别为各项的平衡参数。