[发明专利]一种对生产工段数据进行降噪降维和特征提取的方法

说明书

本发明公开了一种对生产工段数据进行降噪降维和特征提取的方法，包括以下步骤：(1)对生产工段进行数据采集，特征表达为[X,Y,1]其中X为样本容量，Y为样本维度；(2)通过降噪自编码网络对步骤(1)采集到的数据进行编码解码操作，实现数据降噪；(3)通过主成分分析法对步骤(2)降噪数据进行降维和特征提取，降维后的特征表达为[X,Z,1]。针对生产工段所采集到的产线数据噪音多、容量大、特征多样的难题，本发明首次提供一种融合降噪自编码(DAE)和主成分分析法(PCA)的高维强噪声产线数据预处理方法。本发明的方法能够有效地实现对车间工业数据的清洗；为车间后续数据分析与决策奠定基础。

技术领域

本发明涉及数据清洗领域，尤其涉及一种融合降噪自编码(DAE)和主成分分析法(PCA)的对生产工段采集到的数据进行降噪降维和特征提取的方法。

背景技术

智能车间融合了网络技术、现代传感技术、自动化技术等先进技术，大量传感器、数据采集装置等智能设备在安装在生产线中，生产车间已成为信息流、物料流和控制流的汇集中心。在产品的生产过程中，以前所未有的速度产生着海量的生产、环境、状态、工艺，以及设备运行数据，从而形成了车间大数据，然而，由于车间数据的噪音多、容量大、特征多样等的特点，采集到的数据会对车间后续的分析与决策产生影响。因此，车间在进行后续工作之前，对所采集到的数据进行降噪、降维以及特征提取是很有必要的一个环节。经过降维后的主特征数据减少，在不减少原指标信息的损失的情况下，减少需要分析的指标；为车间下一步数据分析与决策提供基础。

为此提出本发明。

发明内容

本发明的提供一种融合降噪自编码(DAE)和主成分分析法(PCA)的对生产工段采集到的数据进行降噪降维和特征提取的方法，针对所采集到的产线数据噪音多、容量大、特征多样的难题，本发明首先从数据去噪方面进行数据清洗，借助降噪自编码网络对原始有噪音的数据进行编码和解码操作，重构出无噪音的原始数据，可以使特征更加稳定；然后采用主成分分析法对已经去除噪音的数据进行特征提取，利用正交变换把由线性相关变量表示的观察数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分，实现数据降维。本发明为智能车间数据分析与决策奠定数据基础。

本发明的技术方案如下：

一种对生产工段数据进行降噪降维和特征提取的方法，其特征在于，包括以下步骤：

(1)对生产工段进行数据采集，特征表达为[X,Y,1]其中X为样本容量，Y为样本维度；

(2)通过降噪自编码(DAE)网络对步骤(1)采集到的数据进行编码解码操作，实现数据降噪；

(3)通过主成分分析法(PCA)对步骤(2)降噪数据进行降维和特征提取，降维后的特征表达为[X,Z,1]。

优选地，步骤(2)在对数据进行编码解码操作前需要对数据进行概率加噪损坏，概率加噪损坏使用下述的二项分布式：式中，n为数据样本容量，p为每次实验中事件A发生的概率，事件A表示按照一定比例对原始输入中的元素随机破坏，i表示经过n次实验后事件A发生的次数。

优选地，在对数据进行编码解码操作步骤如下：将得到的加噪损坏的数据输入到降噪自编码模型的输入层中，使用下述公式进行编码操作：y＝sigmoid(wx+b)；式中sigmoid是激活函数，w是输入层到隐含层的连接权重，x是归一化后的输入数据，b为隐含层的偏置，y是样本特征编码后的输出值；

然后通过降噪自编码对原始有噪音的数据进行解码操作，使用下述公式进行进行解码操作：z＝sigmoid(w'y+b')；式中，sigmoid是激活函数，w'是隐含层到输出层的权重，y是上述样本特征编码后的输出值，b'是输出层的偏置，z是样本特征解码后的输出值。