[发明专利]用于对图像中的对象分类的方法和系统

说明书

公开了一种用于对图像中的对象分类的方法，包括：获得每个所述图像的至少一个候选限界框，其中每个候选限界框含有待分类的一个对象；从每个所述候选限界框提取外观特征；基于所提取的外观特征计算每个候选框的n‑分类得分；以及将每个候选限界框中的对象分类为n个类别中的一个类别，其中n是大于1的整数。

技术领域

本公开涉及一种用于对图像中的对象分类的方法和系统。

背景技术

对象检测的目标是在数字图像和视频中检测特定类别的对象实例。对象检测系统的性能很大程度上取决于图像表示(representation)，图像表示的质量可受例如视点、照明、位姿和遮挡的许多种类的变化影响。由于这类不可控制的因素的存在，设计充分可辨别以表示大量对象类别的稳健图像表示很重要。

大量工作一直专注于设计手工(hand-drafted)特征。通常，基于手工特征的对象检测涉及：对多级大小(multiple scales)的图像上的关键位置(landmarks)提取多个特征，然后将提取的多个特征连结为高维度特征向量。

已应用深度卷积神经网络(CNN)直接从原始像素学习特征。对于对象检测任务，现有的深度CNN学习方法通过使用没有真值(ground truth)限界框的图像预训练CNN，随后使用具有限界框真值的另一图像集合微调该深度神经网络。通常，用于微调的图像集合与用于预训练的图像集合相比具有较少的语义类别数目。此外，用于微调的图像集合中的语义类别数目等于待检测的实际类别数目。

发明内容

下面将简要概述本公开的内容，以提供对本公开的一些方面的基本理解。此概述并非本公开内容的详尽综述。这些概述内容既不是用来指出本公开的重要或关键要素，也并不是用来界定本公开的具体实施方式的任何范围，或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为后文详细描述的序言。

在一方面中公开了一种对图像中的对象分类的方法，包括：获得图像中的每个图像的至少一个候选限界框，其中每个候选限界框含有待分类的一个对象；从每个候选限界框提取外观特征；基于所提取的外观特征计算每个候选框的n-分类得分；以及将每个候选限界框中的对象分类为n个类别中的一个类别，其中n是大于1的整数。

在本申请的另一方面中公开了一种用于对图像中的对象分类的系统，包括：用于获得图像中的每个图像的至少一个候选限界框的装置，其中每个候选限界框含有待分类的一个对象；用于从每个候选限界框提取外观特征的装置；用于基于所提取的外观特征计算每个候选框的n-分类得分的装置；以及用于将每个候选限界框中的对象分类为n个类别中的一个类别的装置，其中n是大于1的整数。

在本申请的另一方面中还公开了一种用于对图像中的对象分类的系统，包括：存储器，其存储可执行组件；以及处理器，其执行可执行组件以执行系统的操作，所述操作包括：获得图像中的每个图像的至少一个候选限界框，其中每个候选限界框含有待分类的一个对象；从每个候选限界框提取外观特征；基于所提取的外观特征计算每个候选框的n-分类得分；以及将每个候选限界框中的对象分类为n个类别中的一个分类，其中n是大于1的整数。

在本申请的一个实施例中，通过使用特征学习CNN从每个候选限界框提取外观特征。可通过以下步骤训练CNN：训练具有第一数目的节点的第一输出层和具有第一数目的整数倍(例如4倍)的节点的第二输出层的第二CNN；用经过训练的第二CNN的神经参数初始化第三CNN；用微调图像集合训练第三CNN；为经过训练的第三CNN添加第二数目的输出层，其中第二数目的输出层中的每个输出层用于n-类别分类；用第三CNN的神经参数初始化第四CNN；用具有n个节点的新输出层替换第四CNN的输出层；以及用微调图像集合微调第四CNN以获得特征学习CNN。

例如，可通过以下操作训练第二CNN：用经过预训练图像集合预训练过的第一CNN的神经参数初始化第二CNN；用两个新层替换第二CNN的输出层；以及用微调图像集合训练第二CNN。