[发明专利]基于深度卷积特征和语义近邻的多标签图像补全方法

说明书

本发明公开了一种基于深度卷积特征和语义近邻的多标签图像补全方法，首先，通过改进卷积神经网络的损失函数，构建一个融合深度卷积特征和语义近邻的卷积神经网络(CNN‑KNN)模型，然后，将CNN的预分类结果输入到语义近邻算法中利用图像标注词间的依赖或共生关系对网络模型输出结果进行改善，最后，优化多标签重要性排序算法，将改善的结果按此算法排序并分配与图像内容表述一致的标注词预测图像的最终标注结果。采用基准数据集iaprtc12进行实验，验证了该方法能有效地补全图像标签语义。

技术领域

本文发明一种基于深度卷积特征和语义近邻的多标签图像补全方法，属于图像处理领域。

背景技术

随着移动互联网的迅猛发展与智能移动设备的不断普及，图像数据产生和获取的成本逐渐降低，基于图像标注的算法也获得了蓬勃发展。在传统的图像标注算法中，每个样本只标注一个标签。然而在一些实际应用中，图像往往包含复杂多样的语义信息，加上图像的视觉特征与人类图像识别之间存在着巨大语义鸿沟，使得多标签分类比传统的分类问题更为复杂。

近年来，在图像标注领域出现了大量的多标签标注算法，如：组合分类器链(ECC)算法、Binary relevance(BR)算法、多类标注算法(Supervised Multiclass Labeling，SML)、多标签SVM等。尽管这些多标签学习算法在某些领域有着较好的应用，但也存在着一些不足：如待定参数过多、标签不完备和泛化能力差。其中，标签不完备对图像标注和检索影响尤为明显，主要表现在用户只能获取到与关键词匹配的部分图像。在图像数量不大的情况下这种不足表现的不是很明显，但是在图像数量爆炸式增长、图像来源不断扩大、图像种类日益繁多的现实条件下，这种不足尤为明显。因此，完备的图像文本标签在图像标注和图像检索领域起着关键性的作用，如何快速有效地提高图像标签的完备性，成为大数据时代图像自动标注研究的新挑战。

随着大数据时代的到来，含更多隐含层的深度卷积神经网络具有更复杂的网络结构，与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型，自提出以来就在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的成绩。

卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，从图像像素中提取图像特征，这种处理方式更加接近人类大脑视觉系统的处理方式。另外，卷积神经网络的权值共享属性和池化层使网络需要训练的参数大大减小，简化了网络模型，提高了训练的效率，因而在图像多标签标注领域得到了更为广泛的应用。

K最近邻(KNN，K-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。由于KNN方法主要依靠周围有限邻近的样本，而不是靠判别类域的方法来确定所属类别，因此对于标签之间的依赖或共生来说，KNN方法较其他方法更为适合。

因此，基于卷积神经网络的特征提取，融合KNN标签间的依赖共生关系，结合多标签重要性排序算法，在多标签图像补全问题上具有重要的研究价值。

发明内容

针对社会化图像初始标注不完备、不准确的问题，通过融合深度卷积特征和语义近邻的方法实现社会化图像的标签补全工作，解决了由于标签不完备导致基于图像的检索结果不完整问题。