[发明专利]一种基于图像式中间态的多模态数据融合决策方法

说明书

本发明公开了一种基于图像式中间态的多模态数据融合决策方法，包括确定决策任务涉及的多模态数据；设计多模态数据统一转换为图像模态数据的方法；面向决策任务获取多模态样本数据，并统一为图像模态以构造训练集和测试集；基于训练集和测试集，训练融合注意力机制的多通道深度神经网络；采集用于决策的多模态数据，并统一转换为图像模态以构造决策数据集；将决策数据集输入多通道深度神经网络进行特征自适应提取与融合决策。本发明既避免了多特征提取模型导致的复杂网络设计和大量参数寻优问题，又可方便地、仅使用一个硬件加速设备来完成快速的神经网络计算；增强深度神经网络各通道提取特征的交互性和互补性；减少冗余特征的输入。

技术领域

本发明涉及一种多模态信息融合决策的实现方法。更具体地，本发明涉及适应于文本、信号、图像、视频等多模态信息融合决策的实现方法。

背景技术

以离散制造车间为例，多模态感知数据来自数控加工中心、传感器、执行器等，包括文本、信号、图像、视频等，蕴含了不同维度和视角的丰富信息，通过相互之间支持、补充、修正，即多模态信息融合，能提供更加全面准确的车间运行状态信息，以支持车间故障诊断、质量检测、寿命预测等业务需求。

对于多模态信息融合问题，因多模态数据具有完全不同的描述形式和复杂的耦合对应关系，无法直接进行数据级融合，通常可以采用“先提取单模态特征，后在特征级融合”的方法。在特征提取阶段，传统的特征工程方法需要领域的先验信息和专业知识才能设计出合适的特征表示方法，并且提取的特征多是浅层特征，针对复杂决策问题其泛化能力受到一定制约。基于深度学习的方法则可以实现特征的自动提取。但由于数据模态不同，需要针对性设计相应的神经网络模型，导致较为复杂的网络结构设计和大量参数寻优问题，且需要多个硬件加速器对神经网络推理进行加速，成本高。在特征融合阶段，常用方法包括加权、张量积等，虽然操作简单，但不能实现各模态特征的元素间灵活交互，且无法衡量各模态信息对目标任务的重要程度，造成冗余和噪声特征输入，导致目前在车间故障诊断、质量检测、寿命预测等决策业务上精确度不高。

针对上述问题，结合深度学习强大的特征提取特点，迫切需要一种简单、高效的多模态信息特征自适应提取与融合方法，以促进故障诊断、质量检测、寿命预测等任务精度的提高。

发明内容

本发明的目的在于提供一种基于图像式中间态的多模态数据融合决策方法，以通过多模态信息支持车间故障诊断、质量检测、寿命预测等决策任务。

一种基于图像式中间态的多模态数据融合决策方法，该方法包括以下步骤：

确定决策任务涉及的多模态数据；

设计多模态数据统一转换为图像模态数据的方法；

面向任务获取多模态样本数据，并统一为图像模态以构造训练集和测试集；

基于训练集和测试集，设计和训练融合注意力机制的多通道深度神经网络；

采集用于决策的多模态数据，并统一为图像模态以构造决策数据集；

将决策数据集输入多通道深度神经网络进行特征自适应提取与融合决策。

进一步地，确定决策任务涉及的多模态数据，包括：

面向决策任务需求，结合实际场景条件，综合考虑数据可获得性、可用性、可靠性，确定用于决策任务的多模态数据，可选的多模态数据包括日志/文档等文本数据、振动信号/声信号/电流信号等信号数据、RGB图像/RGB-D图像/红外图像等图像数据、视频数据等。

进一步地，设计多模态数据统一转换为图像模态数据的方法，包括：

对多模态数据进行预处理，包括：

可选的，对于文本数据，在一种可实现方式中，使用正则清洗文本数据，剔除脏数据和进行指定条件的数据筛选；