[发明专利]一种基于图像式中间态的多模态数据融合决策方法

权利要求书

1.一种基于图像式中间态的多模态数据融合决策方法，包括以下步骤：

确定决策任务涉及的多模态数据；

设计多模态数据统一转换为图像模态数据的方法；

面向任务获取多模态样本数据，并统一为图像模态以构造训练集和测试集；

基于训练集和测试集，设计和训练融合注意力机制的多通道深度神经网络；

采集用于决策的多模态数据，并统一为图像模态以构造决策数据集；

将决策数据集输入多通道深度神经网络进行特征自适应提取与融合决策。

2.根据权利要求1所述方法，其特征在于，确定决策任务涉及的多模态数据，包括：

面向决策任务需求，结合实际场景条件，综合考虑数据可获得性、可用性、可靠性，确定用于决策任务的多模态数据，可选的多模态数据包括日志/文档等文本数据、振动信号/声信号/电流信号等信号数据、RGB图像/RGB-D图像/红外图像等图像数据、视频数据等。

3.根据权利要求1所述方法，其特征在于，设计多模态数据统一转换为图像模态数据的方法，包括：

对多模态数据进行预处理；

将预处理后的多模态数据转换为图像模态数据。

4.根据权利要求3所述方法，其特征在于，对多模态数据进行预处理，包括：

可选的，对于文本数据，在一种可实现方式中，使用正则清洗文本数据，剔除脏数据和进行指定条件的数据筛选；

可选的，对于时域信号数据，在一种可实现方式中，利用小波分解进行降噪处理；

可选的，对于图像和视频数据，在一种可实现方式中，利用滤波器进行降噪处理。

5.根据权利要求3所述方法，其特征在于，将预处理后的多模态数据转换为图像模态数据，包括：

可选的，对于文本数据，在一种可实现方式中，统计文本中词频数据，将文本数据转换为一维词频数据，并将一维词频数据归一化为灰度值，排列为二维矩阵以转换为灰度图像；

可选的，对于信号数据，在一种可实现方式中，通过傅里叶变换从预处理后的时域信号数据中获取频域信息，将所述时域信号数据与频域数据归一化为灰度值，并排列为二维矩阵以转换成灰度图像；在一种可实现方式中，通过短时傅里叶变换或小波变换或S变换等时频分析方法，将预处理后的时域信号数据转换为二维时频图；

可选的，对于视频数据，在一种可实现方式中，从预处理后的视频数据中提取关键帧；在一种可实现方式中，从预处理后的视频数据中提取二维光流场图。

6.根据权利要求1所述方法，其特征在于，面向任务获取多模态样本数据，并统一为图像模态以构造训练集和测试集，包括：

在同一时间段内，面向同一对象或场景，采集决策任务涉及的多模态样本数据；

基于上述多模态数据统一转换为图像模态数据的方法，将采集的多模态样本数据统一为图像模态数据；

对统一之后的图像模态数据集进行标注，并将其划分为训练集和测试集。

7.根据权利要求1所述方法，其特征在于，基于训练集和测试集，设计和训练融合注意力机制的多通道深度神经网络，包括：

设计融合注意力机制的多通道深度神经网络，注意力机制包括通道注意力机制和空间注意力机制；

基于训练集和测试集，对融合注意力机制的多通道深度神经网络进行训练和调整。

8.根据权利要求1所述方法，其特征在于，采集用于决策的多模态数据，并统一为图像模态以构造决策数据集，包括：

在同一时间段内，面向同一对象或场景，采集待决策的多模态数据；

基于上述多模态数据统一转换为图像模态数据的方法，将采集的多模态数据统一为图像模态数据，组成决策数据集。

9.根据权利要求1所述方法，其特征在于，将决策数据集输入多通道深度神经网络进行特征自适应提取与融合决策，包括：

将统一为图像模态的决策数据集输入已训练好的融合注意力机制的多通道深度神经网络进行特征自适应提取与决策，输出决策结果。