[发明专利]借助于联合稀疏表示的零样本机器视觉系统

说明书

描述了这样一种系统，即，所述系统可以识别该系统以前从未见过的新颖对象。所述系统使用训练图像集来学习将来自已知图像的视觉特征映射至语义属性的模型。使用所学到的模型将未见过的输入图像的视觉特征映射至语义属性。利用类标签将所述未见过的输入图像分类为属于图像类。基于所述类标签来控制装置。

相关申请的交叉引用

本申请是2017年5月5日在美国提交的题为“Zero Shot Machine Vision Systemvia Joint Sparse Representations”的美国临时申请No.62/502,461的非临时专利申请，该美国临时申请的全部内容通过引用并入于此。

技术领域

本发明涉及用于识别新颖对象的系统，并且更具体地，涉及通过使用联合稀疏表示对视觉特征与语义属性之间的关系进行建模来识别新颖对象的系统。

背景技术

尽管没有接收到任务的任何训练示例，零样本学习(Zero-shot learning)也能够解决该任务。Akata等人(参见所并入的参考文献的列表中的参考文献No.1)和Romera等人(参见参考文献No.2)描述了零样本机器视觉方法。在参考文献No.1中，作者提出了一种将图像特征和语义属性嵌入在公共空间中的模型(即，潜在嵌入(latent embedding))，其中，借助于双线性函数来测量它们之间的兼容性。

Romera等人(参见参考文献No.2)提出了一种涉及图像特征、属性以及类的通用线性框架。参考文献No.2呈现的方法利用使作者能够推动针对问题的简单封闭形式解的正则化项原理选择。上述方法的主要缺点包括：1)通过假设数据特征与语义属性之间的线性关系来过度简化问题，以及2)对需要针对各个应用进行调整的特设正则化项的敏感性。

因此，仍然需要这样的系统，即，该系统通过利用对对象与对象的语义属性之间的关系进行编码的数学上严密的模型来改进机器视觉系统的零样本能力。

发明内容

本发明涉及用于识别新颖对象的系统，并且更具体地，涉及通过使用联合稀疏表示对视觉特征与语义属性之间的关系进行建模来识别新颖对象的系统。所述系统包括一个或更多个处理器以及非暂时性计算机可读介质，在所述非暂时性计算机可读介质上编码有可执行指令，以使当执行所述可执行指令时，所述一个或更多个处理器执行多个操作。使用训练图像集来学习将来自已知图像的视觉特征映射至语义属性的模型。使用所学到的模型将未见过的输入图像的视觉特征映射至语义属性。利用类标签将所述未见过的输入图像分类为属于图像类。基于所述类标签来控制装置。

在另一方面，所述装置是运载工具组件，并且控制所述运载工具组件以使得执行运载工具操作，其中，所述运载工具操作是制动和转弯中的至少一者。

在另一方面，所述系统生成训练图像集，所述训练图像集包括来自多个图像类的对象的图像，其中，所述训练图像集中的各个图像已经注释有类标签和语义属性。

在另一方面，卷积神经网络(CNN)从已知图像中提取视觉特征。

在另一方面，所学到的模型是提供视觉特征和语义属性的联合表示的联合稀疏词典模型。

在另一方面，所述系统从所述未见过的输入图像中提取视觉特征。针对各个提取图像特征，所述系统确定所述未见过的输入图像的稀疏表示。所述系统使用所述未见过的输入图像的所述稀疏表示来确定至少一个图像属性。通过将所述至少一个图像属性映射至标签空间来确定所述未见过的输入图像的所述类标签。

在另一方面，求解Lasso问题，以确定所述未见过的输入图像的所述稀疏表示。

在另一方面，所述系统是零样本学习机器视觉系统。