[发明专利]细粒度分类

说明书

将图像传递给图像识别器以识别图像的粗分类和被分类对象的边界框。使用掩模来识别代表对象的图像部分。在给定前景掩模的情况下，定位掩模的凸包，并且拟合包围该凸包的具有最小面积的对准矩形。旋转并缩放对准边界框，使得前景对象大致移动为标准取向和大小(称为校准)。使用校准图像作为细分类模块的输入，细粒度模块确定输入图像在粗分类中的细粒度分类。

优先权声明

本申请要求2015年12月14日提交的题为“Fine-Grained Categorization”的美国专利申请No.14/967,876的优先权，该美国专利申请No.14/967,876要求2015年1月19日提交的题为“Fine-Grained Categorization”的美国临时专利申请No.62/105,110的优先权，二者的全部内容通过引用并入本文。

技术领域

本文公开的主题总体上涉及使用深卷积神经网络对数据进行分类。

背景技术

可以使用深卷积神经网络(CNN)来基于图像中显示的物品对图像进行分类。针对一定程度的训练，CNN具有有限的区分能力。在典型的数据集中，物品的取向在图像之间是不同的，并且所得到的CNN的区分能力可能耗费在能够识别物品的类别上而不考虑取向。因此，CNN难以识别相似类型的物品之间的细微差别。

附图说明

在附图中以示例而非限制的方式示出了一些实施例。

图1是示出根据一些示例实施例的适用于细粒度图像分类的网络环境的网络图。

图2是示出根据一些示例实施例的适用于细粒度图像分类的分类服务器的组件的框图。

图3是示出根据一些示例实施例的适用于细粒度图像分类的设备的组件的框图。

图4是示出根据一些示例实施例的适用于细粒度图像分类的图像处理的五个步骤的图。

图5是示出根据一些示例实施例的服务器在执行细粒度图像分类的处理中的操作的流程图。

图6是示出根据一些示例实施例的服务器在执行使用细粒度图像分类来显示广告的处理中的操作的流程图。

图7是示出根据一些示例实施例的服务器在执行使用细粒度图像分类来显示搜索结果的处理中的操作的流程图。

图8是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。

图9示出了根据示例实施例的具有计算机系统的形式的机器的示图表示，在所述计算机系统中，可以执行一组指令以使所述机器执行本文讨论的方法中的任意一个或多个方法。

具体实施方式

示例方法和系统涉及细粒度图像分类。示例只是代表可能的变化。除非另行明确声明，否则组件和功能是可选的，且可被合并或细分，且操作可以在顺序上变化或被组合或细分。在以下描述中，出于解释的目的，对多个具体细节进行阐述，以提供对示例实施例的透彻理解。然而，对于本领域技术人员将显而易见的是：本主题可以在没有这些具体细节的情况下实施。适当配置的计算机系统控制细粒度图像分类的处理。为了描述的目的，该处理被分解成由各种模块或应用执行的步骤。

图像识别器对对象的图像进行操作，以识别图像的粗分类和分类对象的边界框。图像识别器可以是卷积神经网络(CNN)、支持向量机(SVM)或其任何合适的组合。对于具有粗分类的识别对象的特定图像，使用掩模(例如，grabCut掩模)来识别表示对象的图像部分。根据前景掩模，定位对象的凸包，并且拟合包围该凸包的具有最小面积的旋转矩形。该旋转矩形称为对准边界框。旋转并缩放对准边界框以形成校准图像，使得前景对象大致移动为校准图像中的标准取向和大小。