[发明专利]一种面向智能制造多模态数据的分类方法

权利要求书

1.一种面向智能制造多模态数据的分类方法，其特征在于，包括以下步骤：

1)收集和清洗生产数据日志，获取多模态数据；

2)对多模态数据按其数据组成形式进行划分，并进行相应的预处理；

3)对预处理后的多模态数据进行特征提取与特征融合，对融合后的特征进行分类，包括如下步骤：

3.1)对预处理后的多模态数据集合X＝{x₁,x₂,...,x_m}，输入一个包含编码器和解码器的自编码器中，经过编码器的重构及解码器的生成，取解码器的输出作为特征F₁，其中重构损失函数为：

式中，h表示编码器；g表示解码器；λ表示超参数，其值为用户设置；m表示数据的个数；x_k表示第k个数据，k取值范围为1到m；表示数据x_k的雅可比矩阵的F范数；L_AE表示损失函数；g(h(x_k))表示数据x_k依次经过编码器h重构及解码器g生成的结果；||g(h(x_k))-x_k||₁表示g(h(x_k))与x_k的差值的1范数；

在损失函数L_AE达到收敛时，得到特征F₁，即F₁＝g(h(X))，表示预处理后的多模态数据集合X依次经过编码器h重构及解码器g生成的结果，实质是一个m行L列的矩阵，m表示数据的个数，L表示每个数据的维度大小；

3.2)将步骤3.1)中得到的特征F₁复制两份，最终得到三份特征，分别是F₁、F₂、F₃，对F₂和F₃做特征嵌入处理，记为F′₂、F₃′：

F′₂＝W₂·F₂

F₃′＝W₃·F₃

式中，W₂、W₃表示m行L列的参数矩阵；W₂·F₂表示W₂与F₂做点积；W₃·F₃表示W₃与F₃做点积；F′₂、F₃′表示得到的嵌入特征，两者都是m行L列的矩阵；

3.3)将嵌入特征F′₂和F₃′做softmax处理后与特征F₁做加权融合，具体过程为：

式中，F′₃^T表示F₃′的转置，为L行m列的矩阵；表示F₂′与F₃′^T做矩阵乘法后得到m行m列矩阵，对矩阵每一列都除以一个常数表示对每一行做softmax处理；F表示与F₁做矩阵乘法，得到m行L列的矩阵，即最终的融合特征；

将得到的融合特征F加入T层的全连接前馈深度神经网络中训练，其公式表达为：

式中，h_t、h_t+1分别表示第t层和第t+1层全连接前馈深度神经网络的输出结果，其中t的取值范围为1到T-1；W_t¹、W_t²表示第t层全连接前馈深度神经网络的权重参数；分别表示与W_t¹、W_t²对应的偏置参数；f(·)表示Leaky-ReLU函数，其公式为：

式中，a的取值范围为0到1；

取全连接前馈深度神经网络最后一层的输出结果h_T、权重参数和偏置参数多模态数据的类别总数是C；对h_T、做softmax处理，得到每个数据的分类结果：

式中，表示与做矩阵乘法；Z表示m行C列的矩阵，z_i表示Z的第i行，为C维向量，其中i的取值范围为1到m；exp(z_i)表示对z_i的每个元素都做以e为底的指数运算，其结果仍为C维向量；表示z_i的第v维元素；表示对z_i的每个元素都做以e为底的指数运算并求和，其结果为一常数值；表示exp(z_i)中每个元素都除以其结果为C维向量；p_i表示从中选择最大的值作为第i个数据的分类概率值；

3.4)采用交叉熵损失函数以及ADAM算法来对步骤3.3)中的全连接前馈深度神经网络进行迭代优化，在离线学习的情况下对网络进行预训练，并采用在线学习的机制对预训练的网络进行参数实时更新，从而对数据进行实时分类，其过程如下：

从HDFS中读取预设量的数据样本，经过步骤2)得到预处理的数据；将预处理的数据经过步骤3.1)、3.2)、3.3)进行预设次数的迭代训练，使用添加了正则项的交叉熵损失函数J对全连接前馈深度神经网络进行求解，其公式表达为：

式中，p_j是第j个数据的计算概率值，y_j是真实的类别标签，N是网络预训练的样本总数，β是正则化参数；w_j为第j个数据的权重参数；上述公式使用ADAM算法进行迭代优化；

在预训练过程达到收敛状态时，采取在线学习的方式对网络进行微调更新，即从实时样本中按批次读取预设量的数据，进行相应的预处理后，输入全连接前馈深度神经网络中进行训练，服务器实时接收网络的参数更新结果对网络进行更新，并采用最新的网络批次的数据样本进行分类识别，得到每个数据的分类结果并进行可视化展示。