[发明专利]跨域度量学习系统和方法

说明书

本发明公开了跨域度量学习系统和方法。公开了一种增强现实（AR）系统和方法，其可以包括可操作以处理一个或多个卷积神经网络（CNN）的控制器和可操作以获取一个或多个2‑D RGB图像的可视化设备。响应于将锚图像提供给第一卷积神经网络（CNN），控制器可以在语义空间中生成锚向量。锚图像可以是2‑D RGB图像之一。响应于将负图像和正图像提供给第二CNN，控制器可以在语义空间中生成正向量和负向量。负图像和正图像可以被提供为3‑D CAD图像。控制器可以应用跨域深度度量学习算法，该算法可操作以使用锚向量、正向量和负向量来提取语义空间中的图像特征。

技术领域

以下一般涉及机器学习增强现实（AR）系统和方法。

背景技术

机器学习（ML）算法通常可操作以使用模式和推理来实行给定任务。机器学习算法通常基于数学模型，该数学模型依赖于“训练数据”来做出预测或决策，而无需被明确编程来实行所请求的任务。

发明内容

在一个实施例中，公开了一种增强现实系统（AR系统）和方法，其可以包括可操作以处理一个或多个卷积神经网络（CNN）的控制器和可操作以获取一个或多个二维RGB图像的可视化设备。控制器还可以响应于将锚图像提供给第一卷积神经网络（CNN）而在语义空间中生成锚向量。锚图像可以是由可视化设备获取的二维RGB图像之一。控制器还可以响应于将负图像和正图像提供给第二CNN而在语义空间中生成正向量和负向量。负图像可以是第一三维计算机辅助设计（CAD）图像，并且正图像可以是第二三维CAD图像。可以将第一CAD图像和第二CAD图像两者从数据库提供给AR系统。

设想到第一CNN和第二CNN可以包括一个或多个第二卷积层、一个或多个第二最大池化层、第二展平层、第二丢弃层（dropout layer）和第二完全连接层。还设想到，控制器可以应用跨度量深度度量学习算法，该算法可操作以使用锚图像、正图像和负图像来提取语义空间中的图像特征。进一步设想到，控制器可以可操作以使用锚向量、正向量和负向量来从不同模态中提取一个或多个图像特征。

跨域深度度量学习算法可以被实现为三重损失算法，其可操作以减小语义空间中的锚向量与正向量之间的第一距离，并且增加语义空间中的锚向量与负向量之间的第二距离。而且，可以使用一个或多个激活函数来实现包括在第一CNN和第二CNN内的卷积层，所述激活函数可以包括线性整流单元。

设想到，第一CNN和第二CNN可以采用跳过连接架构。第二CNN也可以被设计为孪生神经网络（Siamese network）。控制器可以通过分析在语义空间中提取的图像特征来实行步骤识别。最后，控制器还可以可操作以基于对语义空间中的图像特征的分析来确定是否已经发生无效的修复序列。

设想到，控制器可以进一步可操作以确定一个或多个RGB图像内的图像对象的姿势。控制器还可以将后处理图像算法应用于一个或多个RGB图像。

附图说明

图1是根据一个实施例的示例性增强显示（AR）系统；

图2A和图2B是由深度学习网络应用的三重损失函数的学习过程的示例性图示；

图3是在训练阶段期间进行操作的卷积神经网络的示例性图示；

图4是在测试或运行时阶段期间进行操作的卷积神经网络的示例性图示；

图5是在无效步骤检测过程期间所处理的RGB图像的图示；以及

图6是从RGB图像中标识零件的边界框的图示。

具体实施方式