[发明专利]借由联合稀疏表示的属性感知零样本机器视觉系统

说明书

描述了一种用于对象识别的系统。该系统生成来自多个图像类的对象图像的训练图像集合。使用训练图像集合和注释的语义属性，对使用关于视觉特征和语义属性的字典的联合稀疏表示将视觉特征从已知图像映射到所述注释的语义属性的模型进行训练。使用所训练的模型将未见过的输入图像的视觉特征映射到该图像的语义属性。将所述未见过的输入图像分类为属于图像类，以及基于所述未见过的输入图像的分类来控制装置。

相关申请的交叉引用

这是2018年4月10日在美国提交的题为“Zero Shot Machine Vision System viaJoint Sparse Representations”的美国申请No.15/949,896的部分继续申请，该申请是2017年5月5日在美国提交的题为“Zero Shot Machine Vision System via Joint SparseRepresentations”的美国临时申请No.62/502,461的非临时专利申请，该临时申请的全部内容通过引用并入于此。

这也是2017年9月12日在美国提交的题为“Attribute Aware Zero Shot MachineVision System Via Joint Sparse Representations”的美国临时申请No.62/557,721的非临时申请，该临时申请的全部内容通过引用并入于此。

发明的背景

(1)技术领域

本发明涉及用于对象识别的系统，并且更具体地涉及用于借由联合稀疏表示进行对象识别的系统。

(2)相关技术的描述

零样本学习能够在尽管尚未接收到一项任务的任何训练示例的情况下执行该任务。零样本机器视觉方法由Akata等人(参见并入参考文献的列表的参考文献No.1)和Romera等人(参见参考文献No.2)描述。在参考文献No.1中，作者提出了一种将图像特征和语义属性嵌入共同空间中(即，潜在嵌入)的模型，其中它们之间的兼容性是借由双线性函数来衡量的。

Romera等人(参见参考文献No.2)提出了一种通用的线性架构，该架构将图像特征、属性和类相关联。Romera等人描述的方法利用正则化项的原则性选择，使作者能够驱动针对该问题的简单的闭式解。Yang等人(参见参考文献No.8)借由联合稀疏字典学习、利用他们在图像超分辨方面的工作推广了联合字典学习的想法。最后，Isele等人(参见文献No.4)采用了联合字典学习的想法，并将其应用到了强化学习环境中的传递学习问题。

现有技术中公开的方法的主要缺点包括：1)通过假设数据特征与语义属性之间的线性关系使问题过于简单化，以及2)对需要针对每个应用进行调整的ad hoc正则化项的敏感性。

因此，持续需要一种改进的零样本机器视觉系统，该系统即使在训练阶段中从未见过新颖对象的任何实例，也可以识别该对象。

发明内容

本发明涉及用于对象识别的系统，尤其涉及用于借由联合稀疏表示进行对象识别的系统。该系统包括具有指令的存储器以及一个或更多个处理器，使得当执行所述指令时，所述一个或更多个处理器执行多种操作。使用训练图像集合和注释的语义属性，对模型进行训练，所述模型使用关于视觉特征和语义属性的字典的联合稀疏表示将来自已知图像的视觉特征映射到所述注释的语义属性。使用所训练的模型将未见过的输入图像的视觉特征映射到该图像的语义属性。将所述未见过的输入图像分类为属于图像类，并且基于所述未见过的输入图像的分类来对装置进行控制，其中，所述装置是车辆部件，并且控制所述装置导致车辆操纵。

在另一方面，所述系统生成包括来自多个图像类的对象图像的训练图像集合，其中，所述训练图像集合中的各个对象图像已经用类标签和描述该对象图像的语义属性进行了注释。

在另一方面，为了训练所述模型，视觉特征空间和语义属性空间被建模为非线性空间，所述非线性空间为视觉特征及其对应的语义属性提供完全相同的稀疏表示。