[发明专利]一种基于深度学习的定量光谱数据分析处理方法

说明书

本发明公开了一种基于深度学习的定量光谱数据分析处理方法。本发明不需要对数据进行预处理，能够从原始光谱数据中学习到有效信息和背景信息，提高定量光谱分析的准确度。本发明通过三个卷积层提取光谱数据中的高维特征，在第二层采用1×1的卷积核，能够降维和减少计算量，并且在第三个卷积层采用三种不同大小的卷积核，能够从原始光谱数据中学习到隐含在光谱数据中的不同大小的特征。本发明没有对数据做预处理，可以直接处理原始数据，当测试集光谱与训练集的光谱噪声分布不同时，本发明的泛化能力较高。

技术领域

本发明属于光谱分析领域，具体涉及了一种基于深度学习的定量光谱数据分析处理方法。

背景技术

化学计量学的发展促进了光谱分析在农产品、药品、石油和土壤等领域的应用，目前已经被广泛应用于红外光谱和拉曼光谱的定性与定量分析中。传统的化学计量学数据分析过程包括光谱预处理和建立校正模型两个步骤。光谱预处理主要用于去除光谱数据中的噪声，提高模型的预测精度。一方面，光谱预处理主要有基线校正、散射校正、平滑和归一化等四个步骤，每个步骤又有不同的数据处理方法，通过试错法选择预处理方法的组合会增加建模过程的复杂度，耗费更多时间。另一方面，光谱数据的采集环境、采集仪器或者样本来源发生变化时，数据中的噪声分布也会随之发生变化。原有的预处理方法应用于新的数据时不能有效去除噪声并且会引入新的噪声，致使模型的预测效果变差。

深度学习是一种数据驱动的学习方式，模型可以从原始数据中自动学习到数据中蕴藏的低维特征和高维特征。传统的人工神经网络在进行光谱数据分析时，往往需要先用主成分分析等方法进行降维，而且人工神经网络由于参数量较多容易出现过拟合现象。卷积神经网络具有局部连接、权值共享等特点可以充分提取数据中的局部特征并且防止过拟合。现有的卷积神经网络模型仍然需要进行光谱预处理，或者只是作为一种特征提取方法。Acquarelli等人提出了一种一层的卷积神经网络定性分析模型，但是该模型仍然是在经过预处理后的光谱数据上效果较好(J.Acquarelli.，T.v.,Laarhoven，J.,Gerretzen，T.N.,Tran，L.M.C.,Buydens，E.,Marchiori，Convolutional Neural Networks forVibrational Spectroscopic Data Analysis，2017)。Malek等人提出了一种卷积神经网络的定量分析模型，但是在该模型中卷积神经网络被用于特征提取，提取的特征后在回归模型中进行训练(S.,Malek，F.,Melgani，Y.,Bazi，One-dimensional convolutional neuralnetworks for spectroscopic signal regression，2017)。

发明内容

为了弥补现有的化学计量学建模方法的不足，本发明提出了一种基于深度学习的定量光谱数据分析处理方法。本发明方法是一种数据驱动的建模方法，不需要数据预处理，可以在不从原始光谱数据中去除背景噪声的情况下，通过不同大小的卷积核提取不同大小的特征，输出预测结果，提高预测的准确度。

如图1所示，本发明所采用的技术方案是：

步骤1)：构建一维卷积神经网络模型，并且优化计算获得模型的超参数；

步骤2)：用样品已知预测值的光谱数据输入到卷积神经网络模型中，采用Adam优化方法结合反向传播方法训练获得模型的权重，经过多轮训练后得到一个最优模型，获得训练后的模型；

步骤3)：将样品未知预测值的光谱数据输入到训练后的模型，输出获得光谱数据的预测值结果。

现有的光谱数据均是进行数据预处理，去除背景信息，然后利用有效信息采用偏最小二乘(PLS)、人工神经网络(ANN)等方法建立校正模型。

而本发明建立特殊结构的卷积神经网络模型，直接对未去除背景信息的完整的原始光谱数据进行处理，获得了很好的检测精度。