[发明专利]用于处理弱监督图像的方法、系统和计算机存储介质

说明书

描述了通过利用从弱监督图像提取的基于分块的特征训练分类器来优化多类图像分类。可以接收与一组标签相关联的图像的语料库。可以从语料库中的个体图像中提取一个或多个分块。可以从一个或多个分块中提取基于分块的特征，并且可以从一个或多个分块的个体分块中提取分块表示。至少部分地基于基于分块的特征分块可以被布置到聚类中。可以至少部分地基于表示个体分块之间的相似性的所确定的相似性值，从个体聚类中移除个体分块中的至少一些。系统可以部分地基于从改进聚类中的分块中提取的基于分块的特征来训练分类器。分类器可用于准确和高效地分类新图像。

背景技术

计算机视觉可以包括对象识别、对象分类、对象类检测、图像分类等。对象识别可以描述找到特定对象(例如，特定做工的手提包、特定人物的面部等)。对象分类和对象类检测可以描述找到属于特定分类或类的对象(例如面部、鞋子、汽车等)。图像分类可以描述将整个图像分配给特定分类或类(例如，位置识别、纹理分类等)。使用图像的计算机对象识别、检测和/或分类是具有挑战性的，因为现实世界中的对象在视觉外观上变化很大。例如，与单个标签相关联的对象(例如猫、狗、汽车、房屋等)在颜色、形状、大小、视角、照明等方面呈现多样性。

一些当前的对象检测、识别和/或分类方法包括基于受监督或标记的数据的训练分类器。这样的方法是不可扩展的。目前的对象检测、识别和/或分类方法中的其他方法利用局部图像特征(例如，定向梯度直方图(HOG))来学习常识知识(例如，眼睛是人的一部分)或通用标签的特定子标签(例如，马的通用标签包括棕色马、骑马等的子标签)。然而，使用局部图像特征(例如，HOG)是计算密集型的。因此，目前用于对象检测、识别和/或分类的技术是不可扩展的并且在计算上是密集的。

发明内容

本公开描述了通过利用从弱监督图像提取的基于分块(patch)的特征用于优化多类图像分类的技术。本文描述的技术通过提高使用分类器对输入图像进行分类的准确性并减少用于训练分类器的计算资源量，利用基于分块的特征来优化多类图像分类。

系统和方法描述了来自互联网上可用的弱监督图像的学习分类器。在至少一些示例中，本文描述的系统可以接收与一组标签相关联的图像的语料库。图像的语料库中的每个图像可以与该组标签中的至少一个标签相关联。系统可以从图像语料库中的个体图像中提取一个或多个分块。系统可以从一个或多个分块中提取基于分块的特征，并从一个或多个分块的个体分块中提取分块表示。该系统可以至少部分地基于基于分块的特征来将分块布置到聚类中。此外，系统可以确定表示各个分块之间的相似性的相似性值。可以至少部分地基于相似性值来从个体聚类中移除个体分块中的至少一些。该系统可以至少部分地基于在改进聚类中剩余的分块来提取基于分块的特征。该系统可以至少部分地基于基于分块的特征来训练分类器。

系统和方法进一步描述了应用分类器分类新图像。在至少一个示例中，用户可以将图像输入到本文描述的经训练的系统中。系统可以从图像中提取分块，并从图像中提取特征。该系统可以将分类器应用于所提取的特征以分类新图像。附加地，系统可以向用户输出结果。结果可以包括通过将分类器应用于从图像提取的特征来确定的图像的分类。

提供本发明内容以简化形式介绍概念的选择，这些概念在下面的具体实施例中被进一步描述。本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

具体实施方式参照附图进行阐述，其中附图标记的最左边的数字标识附图标记首次出现的附图。在相同或不同的附图中使用相同的附图标记指示相似或相同的项目或特征。

图1是示出用于从图像训练分类器并将经过训练的分类器应用于分类新图像的示例系统的图。

图2是示出用于从弱监督图像训练分类器并且将经训练的分类器应用到分类新图像的示例系统的附加部件的图。

图3图示了用于从基于分块的特征来训练分类器的示例过程。

图4示出了用于至少部分地基于过滤图像的语料库(corpus)来确定标签是否可学习的示例过程。