[发明专利]多模态融合模型对单源对抗的防御

说明书

一种用于自主车辆的多模态感知系统包括第一传感器和控制器，所述第一传感器是视频、RADAR、LIDAR或超声传感器中的一种。该控制器可以被配置为：从第一传感器接收第一信号，从第二传感器接收第二信号，并且从第三传感器接收第三信号，从第一信号提取第一特征向量，从第二信号提取第二特征向量，从第三信号提取第三特征向量，基于不一致的模态预测经由机器学习网络的剔除异常项网络从第一、第二和第三特征向量确定剔除异常项向量，将第一、第二和第三特征向量以及剔除异常项向量融合成融合特征向量，输出融合特征向量，并且基于融合特征向量控制自主车辆。

政府权利

本发明的至少一个或多个部分可以在国防高级研究计划局(DARPA)授予的美国政府合同号1190060-430433下得到政府支持。因此，美国政府可以对本发明享有一定的权利。

技术领域

本公开总体地涉及鲁棒的多模态机器学习系统。更具体地，本申请涉及经由训练并使用具有鲁棒融合层的剔除异常项网络（找出异常项网络，odd-one-out network）来改进多模态机器学习系统的鲁棒性。

背景技术

在现实世界中，信息可以由不同的模态捕获和表达。例如，图像中的一组像素可以与标签和文本解释相关联；声音可以与由于速度、操作条件或环境条件而引起的振动相关联；并且超声可以与距离、大小和密度相关联。不同的模态可以由非常不同的统计特性来表征。例如，图像通常被表示为特征提取器的像素强度或输出，而声音可以是时间序列，并且超声可以产生点云。由于不同信息资源的不同统计特性，发现不同模态之间的关系是非常重要的。多模态学习是表示不同模态的联合表示的良好模型。多模态学习模型还能够在考虑到观察到的模态的情况下填充缺失的模态。

发明内容

一种多模态感知系统包括控制器。所述控制器可以被配置为，从第一传感器接收第一信号，从第二传感器接收第二信号，以及从第三传感器接收第三信号，从所述第一信号提取第一特征向量，从所述第二信号提取第二特征向量，从所述第三信号提取第三特征向量，基于不一致的模态预测，经由机器学习网络的剔除异常项网络从所述第一、第二和第三特征向量确定剔除异常项向量（odd-one-out vector），将所述第一、第二和第三特征向量以及剔除异常项向量融合成融合特征向量，以及输出所述融合特征向量。

一种多模态感知方法，包括接收来自第一传感器的第一信号、来自第二传感器的第二信号和来自第三传感器的第三信号，从第一信号提取第一特征向量，从第二信号提取第二特征向量，和从第三信号提取第三特征向量，基于不一致的模态预测经由机器学习网络的剔除异常项网络从第一、第二和第三特征向量确定剔除异常项向量，将第一、第二和第三特征向量和剔除异常项向量融合成融合的特征向量，并输出融合特征向量。

一种用于自主车辆的多模态感知系统包括第一传感器和控制器，所述第一传感器是视频、RADAR（雷达）、LIDAR（激光雷达）或超声传感器中的一种。该控制器可以被配置为，从第一传感器接收第一信号，从第二传感器接收第二信号，并且从第三传感器接收第三信号，从第一信号提取第一特征向量，从第二信号提取第二特征向量，从第三信号提取第三特征向量，基于不一致的模态预测经由机器学习网络的剔除异常项网络从第一、第二和第三特征向量确定剔除异常项向量，将第一、第二和第三特征向量以及剔除异常项向量融合成融合特征向量，输出融合特征向量，并且基于融合特征向量控制自主车辆。

附图说明

图1是用于训练神经网络的系统的框图。

图2是具有易损（脆弱，vulnerable）和鲁棒的输出的多模态模型上的示例性单源对抗扰动的图形表示。

图3是利用机器学习模型的数据注释系统的框图。

图4是多模态混合网络的图形表示。

图5是电子计算系统的框图。

图6是具有剔除异常项网络的多模态融合网络的图形表示。