[发明专利]一种基于深度协同哈希的图片标注方法

权利要求书

1.一种基于深度协同哈希的图片标注方法，其特征在于，包括图片标注收集、图片特征表示学习、图片标注哈希学习优化三个部分，使用协同哈希为图片和标注间的一致性建模，使用平方损失为图片间的相似性信息建模；在求解时，利用离散优化的策略学习图片和标注的编码，同时使用梯度反向传播优化深度网络的参数；在线应用时，对于一张没有标注的图片，使用哈希网络生成二值编码，之后在海明空间内寻找与其海明距离小的标签作为图片的标注；

图片标注收集具体是：

令为n个图片集合，C为m个标签集合；每张图片都对应着标签集合C中的几个标签，构成了图片标注矩阵R＝{r_ij}，矩阵R中的每个元素反映了图片和标签的相关性；r_ij＝1表示第i个图片对应着第j个标签；r_ij＝0表示第j个标签不是第i张图片的标签或者第j个标签是第i张图片的缺失标签；模型的目标是学习图片的最优二值编码B,标签的最优二值编码V，同时，学习生成图片二值编码的哈希函数h；

图片特征表示学习具体是：

使用预训练的卷积神经网络CNN-F模型提取图片特征表示，CNN-F包括五层卷积神经网络，两层全连接层；五层卷积神经网络分别是卷积层一至五，两层全连接层分别为全连接层六和哈希层；每个卷积层包括五个部分：“filter”指定卷积感受野的大小和卷积个数；“stride”指定两个卷积操作间的间隔；“pad”表示零填充的数目；“LRN”表示是否使用局部正则；“pool”指定下采样的区域大小；全连接层六用4096维作为特征表示；哈希层的维度为对应的哈希编码的个数；

图片标注哈希学习优化具体是：

根据图片内容或者社交链接信息定义图片的相似性，利用深度网络建模图片的相似性信息以及图片和标注一致性信息构建统一的模型：

s.t.B∈{-1,+1}^c×n,V∈{-1,+1}^c×m,

其中，E为损失函数，c为哈希编码的比特数，n为图片的个数，m为标签的个数，R表示图片和标签间一致性矩阵，S为图片相似性矩阵，U为深度网络学习到的图片编码的实值表示，B为图片的二值编码表示，μ为控制图片和标注间一致性与图片间相似性的权重，λ为控制图片实值表示和二值表示间的量化损失；使用交替优化的策略，逐个比特地离散优化变量B，逐个比特地离散优化变量V；对于变量U，使用梯度下降进行更新；训练完成后，使用学习到的深度网络哈希函数表示图片的二值编码，将计算得到的图片二值编码与标签集合二值编码的海明距离进行排序，根据实际任务选取图片对应的标签。

2.如权利要求1所述的基于深度协同哈希的图片标注方法，其特征在于，令变量V_i*是V的第i行，V_i*是二值变量，因此离散求解

按照这个公式，逐比特地更新变量V的每一个比特；

其中矩阵Q的计算公式为

Q＝cBR^T

Q_i*为变量Q的第i行，B_i*为变量B的第i行，为变量B除去B_i*后剩余的矩阵，为变量V除去V_i*后剩余的矩阵，

固定U和V，更新变量B，同样地能够按照如下的公式逐比特地更新B；

其中矩阵D的计算公式为

D＝cVR^T+λU+μcUS^T

D_i*为变量D的第i行，U_i*为变量U的第i行，为变量U除去U_i*后剩余的矩阵，

固定变量B和变量V，更新变量U；U是网络输出的最后一层，提供最后一层的梯度公式，神经网络参数Θ使用链式法则更新；

其中，U_*i为变量U的第i列，B_*j为变量B的第j列，s_ij为图片i和图片j间的相似性；

假定神经网络参数为Θ，整个网络的过程定义为φ，则图片x_i的哈希函数表示为

h(x_i)＝sign(φ(x_i，Θ))

使用如上的方式，最终求得变量B、变量V、变量U以及哈希函数h。