[发明专利]基于哈希编码的跨模态数据检索方法、系统、设备及介质

权利要求书

1.一种基于哈希编码的跨模态数据检索方法，其特征在于，检索分为训练阶段和检索阶段，所述方法包括：

获取训练数据集O_tr＝{o₁,o₂,…,o_n}∈R^n×d，包含n个样本，每个所述样本对应的模态数目为m，d＝d₁+d₂+.....+d_m，所述训练集O_tr中第i个样本其中，m、n均为正整数，且m≥2，d_m为第m个模态所述样本的特征点数量，为第i个样本中第m个模态的特征向量；

采用符号函数sgn(·)对所述样本内的原始模态数据进行映射，即以获得二值哈希编码B，其中，W为哈希投影矩阵，k代表每个所述哈希编码，r为所述哈希编码长度；

构建FCCH目标函数，得到如下公式，并迭代更新求解所述哈希投影矩阵W：

s.t.B∈{-1,1}^r×n,BB^T＝NI；

其中，α₁、α₂与α_m为模态权重系数，且α₁+α₂+…+α_m＝1；X^(m)为第m个模态的特征矩阵，G′代表锚点间融合相似度，N为自然数；锚点集合L＝{l₁,l₂,…,l_p}，从所述训练数据集的样本中选取，所述锚点集合中第i个锚点为所述锚点间融合相似度G′的计算公式如下所示：G′(i,j)＝mean{S₁(l_i,l_j),S₂(l_i,l_j),…,S_p(l_i,l_j)}，其中，p为正整数，其中，利用欧式距离S_p(l_i,l_j)用来衡量第p个锚点的两个所述模态的特征数据的相似度，欧式距离

通过迭代更新求解后的所述哈希投影矩阵W，利用公式：来计算测试数据集对应所述训练数据集的哈希编码B′，进而找出汉明距离最近的模态数据，作为所述跨模态数据检索的检索结果。

2.根据权利要求1所述的基于哈希编码的跨模态数据检索方法，其特征在于，所述采用符号函数sgn(·)对所述样本内的原始模态数据进行映射，获得二值哈希编码B的步骤包括：

计算每个模态的哈希函数：

计算每个模态的哈希函数集合：

计算每个模态的哈希编码：

3.根据权利要求1所述的基于哈希编码的跨模态数据检索方法，其特征在于，迭代更新求解所述哈希投影矩阵W的步骤包括：初始化所述哈希投影矩阵W，所述哈希编码B，并对应设置m个辅助变量采用交替迭代法对W、B以及所述辅助变量进行N次迭代更新直至收敛得到所述哈希投影矩阵W。

4.根据权利要求3所述的基于哈希编码的跨模态数据检索方法，其特征在于，所述交替迭代法的迭代步骤包括：

固定W⁽¹⁾,W⁽²⁾,…,W^(m),B₁,B₂…,B_m，迭代更新B，令所述目标函数为O₁，采用交替迭代法求解目标函数，首先求得B：

固定W⁽¹⁾,W⁽²⁾,…,W^(m),B，迭代更新求解B₁,B₂…,B_m：

固定B₁,B₂…,B_m,B，迭代更新求解W⁽¹⁾,W⁽²⁾,…,W^(m)：

其中，B_S为所述锚点对应的哈希编码。