[发明专利]多模态融合模型对单源对抗的防御

权利要求书

1.一种多模态感知系统，包括：

控制器，所述控制器被配置成，

接收来自第一传感器的第一信号、来自第二传感器的第二信号和来自第三传感器的第三信号，

从所述第一信号提取第一特征向量，

从所述第二信号提取第二特征向量，

从所述第三信号提取第三特征向量，

基于不一致模态预测，经由机器学习网络的剔除异常项网络从所述第一特征向量、所述第二特征向量和所述第三特征向量确定剔除异常项向量，

将所述第一特征向量、第二特征向量和第三特征向量与剔除异常项向量融合成融合特征向量，以及

输出所述融合特征向量。

2.如权利要求1所述的多模态感知系统，其中，所述第一传感器、所述第二传感器和所述第三传感器各自具有不同的模态。

3.如权利要求2所述的多模态感知系统，其中，所述剔除异常项向量的长度模态加1，并且每个模态具有扰动，其中所述加1表示未扰动的模态。

4.如权利要求3所述的多模态感知系统，其中，所述控制器确定所述剔除异常项网络，并将所述特征向量与所述剔除异常项向量融合为卷积神经网络(CNN)以对齐所述不同模态的时空维度。

5.如权利要求1所述的多模态感知系统，其中，所述控制器还配置成经由第一预训练的AI模型从所述第一信号提取所述第一特征向量，经由第二预训练的AI模型从所述第二信号提取所述第二特征向量，经由第三预训练的AI模型从所述第三信号提取所述第三特征向量。

6.如权利要求5所述的多模态感知系统，其中，所述控制器还被配置用于根据损耗函数与任务模态并行地联合训练所述剔除异常项网络，所述损耗函数由下式表达：

其中是从扰动输入中提取的特征，并且o是剔除异常项网络，并且响应于停止准则事件，停止所述联合训练。

7.如权利要求1所述的多模态感知系统，其中，所述控制器还配置成根据下式将所述第一特征向量、第二特征向量和第三特征向量以及剔除异常项向量融合成融合特征向量：

其中，表示拼接操作，NN表示浅层神经网络，z是输入，k是模态，是来自除针对i的之外的所有模态的特征的融合，并且仅融合来自所有模态的特征。

8.如权利要求1所述的多模态感知系统，其中，所述第一传感器是视频、RADAR、LIDAR或超声中的一种，并且所述控制器进一步被配置为基于所述融合特征向量来控制自主车辆。

9.如权利要求1所述的多模态感知系统，其中，所述第一传感器是视频、声音、IR或LIDAR中的一种，并且所述控制器进一步被配置为基于所述融合特征向量来控制通道门。

10.如权利要求1所述的多模态感知系统，其中，所述第一传感器是视频、声音、超声、IR或LIDAR中的一种，并且所述控制器进一步被配置为控制机械系统。

11.一种多模态感知方法，包括：

接收来自第一传感器的第一信号、来自第二传感器的第二信号和来自第三传感器的第三信号；

从所述第一信号提取第一特征向量，从所述第二信号提取第二特征向量，以及从所述第三信号提取第三特征向量；

基于不一致模态预测经由机器学习网络的剔除异常项网络从所述第一特征向量、所述第二特征向量和所述第三特征向量确定剔除异常项向量；

将所述第一特征向量、第二特征向量和第三特征向量与剔除异常项向量融合成融合特征向量；以及

输出所述融合特征向量。

12.如权利要求11所述的多模态感知方法，其中，所述第一传感器、所述第二传感器和所述第三传感器各自具有不同的模态。