[发明专利]用于图像搜索的准确的标签相关性预测

说明书

本发明的各实施例总体上用于图像搜索的准确的标签相关性预测。具体地，本发明的实施例提供了一种自动图像标记系统，其可以预测可以用于基于关键字的图像检索、图像标签建议和基于用户输入的图像标签自动完成的标签的集合以及相关性得分。最初，在训练期间，使用聚类技术来减少被输入到用于训练特征数据的卷积神经网络(CNN)中的数据中的集群不平衡。在实施例中，聚类技术还可以用于计算可以用于标签传播(以标记未标记的图像)的数据点相似性。在测试期间，利用基于多样性的投票框架来克服用户标记偏差。在一些实施例中，二元语法重新加权可以基于预测的标签集合来降权可能是二字母的一部分的关键字。

技术领域

本申请的各实施例总体上涉及图像搜索领域，具体是涉及用于图像搜索的准确的标签相关性预测。

背景技术

基于因特网的搜索引擎传统上采用常见的图像搜索技术来定位万维网上的数字图像内容。这些公知的图像搜索技术之一可以被分类为“基于文本的”图像搜索。传统的基于文本的图像搜索可以接收基于文本的查询，该基于文本的查询用于搜索具有关键字标记的图像的数据库，以生成每个具有与基于文本的查询匹配的一个或多个关键字标签的结果图像集合。这些基于文本的搜索主要依赖于在其上进行搜索的图像数据库中的关键字标签的质量和细节水平。这些关键字标签通常由自动标记系统来提供。

当前标记系统将标记视为图像分类问题。在这些系统中，为每个可能的标签收集大量样本或训练图像。然后可以训练分类器以确定给定测试图像(例如，尚未被标记的图像)的最可能的标签。然而，当标签的数目非常大(例如，大于10000)时，训练每个分类器在计算上是一种挑战。此外，这些系统通常忽略稀有标签，并且不能为给定图像分配非常特定的标签。此外，当类似的图像由类似的注释者注释时，由这些系统传播的关键字标签可能被破坏。在这些情况下，即使图像具有一些差异，由于图像和注释者的相似性，它们可以用相同的标签注释，通常称为标签偏差。甚至进一步地，大的数据集合通常被聚类以分组类似的数据点，其可以由分类器用来将一个组(例如，标签)与另一个区分开。然而，当前聚类算法经常导致不平衡数据，其中大多数数据点(例如，图像)在同一集群中，留下具有很少或没有数据点(例如，图像)的其它集群。作为这些和其他限制的结果，这样的系统通常不足以标记和检索真实世界图像。

发明内容

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识要求保护的主题的关键特征或必要特征，也不应当用于帮助确定要求保护的主题的范围。

本发明的实施例涉及图像标记系统。特别地，本发明的实施例提供了一种自动图像标记系统，其可以预测可以用于基于关键字的图像检索、图像标签建议和基于用户输入的图像标签自动完成的标签的集合以及相关性得分。使用增强的聚类技术来去除聚类不平衡并且改进用于预测图像的标签和相关性得分的分类器的训练。如上所述，集群不平衡是当大量数据点集中在少量集群中时发生的问题。集群不平衡导致训练期间的低效率以及测试期间的不准确性。因此，提出了一种解决方案，其通过以下方式来强化聚类上的大小上限：(a)去除特定大小的聚类的子集，以及(b)对任何剩余的优势聚类递归地应用KMeans聚类。以这种方式，当数据被输入到卷积神经网络(CNN)中时，CNN能够更有效地区分训练数据中存在的大量标签，这也使得CNN能够在测试期间更准确地标记未标记的图像。

然后可以利用增强的投票框架来克服用户标记偏差。如上所述，用户标记偏差是当训练图像集合已被类似注释者或类似标签提供者标记时发生的问题。提出了一种通过采用基于分集的投票框架来解决用户标记偏差的解决方案。特别地，在该框架下，可以考虑一对图像的标签序列的相似性。这使得能够确定标签提供者之间的相似性。因此，不是利用类似的投票计数来确定何时标记图像，而是可以测量在投票计数中消除相似用户的有效投票数，并且因此减小标记偏差。

附图说明

下面参考附图详细描述本发明，其中：

图1是示出根据本发明实施例的可以用于基于关键字的图像检索、图像标签建议和图像标签自动完成的标签系统的框图；