[发明专利]一种零样本图像检索的语义增强哈希方法

权利要求书

1.一种零样本图像检索的语义增强哈希方法，其特征在于，所述的语义增强哈希方法采用带偏差的线性投影，包括以下步骤：

步骤1、图像视觉特征的语义对齐；

将图像视觉特征数据投影到类别语义空间中，对齐视觉特征到对应的类别语义，以增强视觉特征的语义信息；采用类别语义特征作为中间的过渡空间，并将语义对齐定义为一个带偏差的线性投影，如公式(1)所示：

其中，是图像视觉特征数据，每一个图像表示为x_i,i＝1,2,...,n，并且属于可见类C^s中的一类，d表示图像视觉特征的维度，n表示图像的数量；另外，在测试阶段，某些图像视觉特征数据来自新的类别C^u，与可见类不存在交集是类别语义空间，其中a表示属性的维度，S的每一列S_i都对应图像数据中的x_i；表示投影矩阵，是偏差向量，e_n表示长度为n的全1向量；此外，为正则化项，λ为正则化项的权重，表示弗罗贝尼乌斯范数的平方；M^T表示矩阵M的转置，min(·)表示将公式最小化；

步骤2、域结构保持；

将图像视觉特征投影到类别语义空间之后，数据依然保持原始数据的域结构信息，原始数据的邻居在投影之后依然能够保持邻居关系；采用拉普拉斯图正则化的方式，将域结构信息定义为如公式(2)所示；

其中，Tr表示求矩阵的迹操作，L是拉普拉斯矩阵；

步骤3、二进制编码学习；

投影之后，图像视觉特征被投影到类别语义空间，接下来需要学习一个从类别语义空间S到二进制编码B的线性投影为类别语义空间和二进制编码之间建立连接；此外，将标签矩阵Y∈{0,1}^c×n逆向回归到二进制编码B上，考虑有监督的标签信息；由此构成如公式(3)所示的二进制编码学习公式；

其中，其中c表示可见类的类别数量，k表示二进制编码的长度，表示逆向回归矩阵，将标签信息转化为二进制编码，γ是平衡参数；此外，符号s.t.表示公式的约束条件；二进制编码采用-1和1表示；

步骤4、构建总体目标函数以及函数优化求解；

4.1)根据步骤1-步骤3的公式(1)、(2)、(3)得到模型的总体目标函数，如公式(4)所示；

其中，α,β,λ,γ表示平衡参数，分别表示正则化项，防止过拟合；此外，为了能够使模型抓取数据之间的非线性关系，在数据进入模型的训练之前，采用高斯核对数据进行非线性映射，获得新的表示，然后再填入到模型中；

4.2)采用交替优化的方式对公式(4)的进行优化求解，并且每次优化一个参数，固定其他参数，采用迭代的方式进行参数更新；

优化具体步骤如下：

1)更新M，固定M以外的其他变量，得到如公式(5)所示简化的目标函数，

将公式(5)其对应于M的导数设置为0，获得最优解如公式(6)，

2)更新R，固定R以外的其他变量，得到如公式(7)所示简化的目标函数，

同样将公式(7)对应R的导数设置为0，获得封闭解为公式(8)所示；

R＝β(βSS^T+λI)^-1SB^T (8)

3)更新G，固定G以外的其他变量，可以得到如公式(9)所示简化的目标函数，

类似的，获得封闭解为公式(10)所示；

G＝γ(γYY^T+λI)^-1YB^T (10)

4)更新t，固定t以外的其他变量，得到如公式(11)所示简化的目标函数，

类似的，获得封闭解为公式(12)所示；

5)更新B，固定B以外的其他变量，得到如公式(13)所示简化的目标函数，

公式(13)转化为公式(14)，

能够求解的如公式(15)所示，

B＝sgn(βR^TS+γG^TY) (15)

其中sgn(·)表示求符号函数；

通过以上更新步骤进行交替迭代，直至满足收敛条件，便能够求出图像数据X对应的二进制编码B；

步骤5、学习哈希函数，处理新数据；

通过步骤4优化求解之后能够得到X图像视觉特征数据对应的二进制编码B，将其作为图像检索的数据库，当有新的测试数据时，需要学习哈希函数来获得二进制编码；结合步骤4中公式(6)和(8)学习的M和R，构成哈希函数；当有一个新的图片x来临时，其对应的二进制编码求解方式如公式(16)所示；

b＝sgn(R^T(M^Tx+te_n)) (16)。