[发明专利]一种基于深度协同哈希的图片标注方法

说明书

本发明公开了一种基于深度协同哈希的图片标注方法，达到了图片和标签存储空间低且检索高效的效果。首先收集用户上传或者众包提供的有标注图片，利用图片和标注的对应关系构造相似性关系的二值矩阵。根据共享标注的个数定义图片的相似性。融合图片和标注间一致性信息与图片相似性信息作为监督目标，结合深度学习构造端到端的有互反馈的深度网络，离线训练图片和标注的离散二值编码。在线应用时，使用深度网络输出图片的二值编码，计算图片二值编码与标签二值编码的海明距离，根据海明距离从低到高对图片进行标注。

技术领域

本发明涉及一种基于深度协同哈希的图片标注方法，主要解决图片标注中的存储开销和检索效率问题。

背景技术

随着智能手机的普及，人们可以随时随地用相机记录生活，并且在社交媒体上编辑和分享图片。社交平台比如国内的微信和国外的Facebook，用户每天都会共享大量的多媒体数据，因此图片和视频的数据量与日俱增。对于海量的多媒体数据，网站端如何有效的存储、管理并且提供给用户端友好的检索和浏览是一项极具挑战的任务。为了使用户可以更加方便地检索图片，一些描述图片语义信息的标签可以带来极大的便利，因此图片标注任务受到了广泛的关注。图片标注任务是给图片分配和图片内容相匹配的语义标签，用来缩小基于关键词检索图片时，低等级的图片特征和高等级的语义信息之间的鸿沟。

手动标注通常由一些专家基于预定义好的标签集合进行标注，虽然标注更加准确但却需要耗费大量人力物力。对于像Flickr这种有数亿级别并且每天仍然会上传几百万张图片的共享网站，手动标注是不可能完成的。因此对于大规模数据集，如何自动准确地对其中的图片进行标注备受关注。

大多数的图片标注研究工作主要关注算法的效果却很少在意其检索效率。在现实应用中，图片的数量是呈爆炸式增长的，因此设计一种低存储图片和标签，以及高效率的图片标注算法至关重要。为了解决这个问题，本发明主要从哈希学习的角度出发，用离散哈希对学习图片和标注进行编码，并在海明空间内寻找图片对应的标注。

发明内容

发明目的：本发明提供一种基于深度协同哈希的图片标注方法，引入哈希意在解决图片标注时存储空间以及检索效率问题。同时，通过深度网络将图片和图片间的相似性考虑其中来提升算法性能。

技术方案：一种基于深度协同哈希的图片标注方法，包括特征学习和损失函数两部分。特征学习部分使用深度网络提取图片的特征表示；损失函数部分的监督信息由图片和标注间一致性以及图片间相似性两部分组成，希望学习到的哈希编码与监督信息尽可能一致。本发明使用协同哈希建模图片和标注间的一致性，使用平方损失建模图片间的相似性信息。在求解时，利用离散优化的策略学习图片和标注的编码，同时使用梯度反向传播优化深度网络的参数。在线应用时，对于一张没有标注的图片，使用哈希网络生成二值编码，之后在海明空间内寻找与其相近的标签作为图片的标注。

令为n个图片集合，C为m个标签集合。每张图片都对应着标签集合C中的几个标签，构成了图片标注矩阵R＝{r_ij}。矩阵R中的每个元素反映了图片和标签的相关性。r_ij＝1表示第i个图片对应着第j个标签；r_ij＝0表示第j个标签不是第i张图片的标签或者第j个标签是第i张图片的缺失标签。我们模型的目标是学习图片的最优二值编码B,标签的最优二值编码V,使得r_ij＝1时二值编码 b_i和v_j间的距离尽可能近；r_ij＝0时二值编码b_i和v_j间的距离尽可能远。同时，学习生成图片二值编码的哈希函数h。