[发明专利]一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法

说明书

本发明涉及一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法。本发明所述近红外光谱数据分析方法，显著性假设检验采用显著性参数衡量数据的重要性，利用不同的分数提取特征波段信息，得到的特征子集维数较小，减少数据处理量，有效提取同种物质近红外光谱明显差异的特征波段，实现对光谱数据的有效特征快速提取；结合偏最小二乘定性回归模型提高了识别正确率。

技术领域

本发明涉及一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法，属于近红外光谱数据分析处理的技术领域。

背景技术

近红外光谱分析技术是一种发展速度很快的成分快速分析技术，具有分析速度快、分析效率高、分析成本低、测试重现性好、无损测量、便于实现在线分析的特点，被广泛应用在农业、食品、医药等领域。

由于不同的物质对近红外光的吸收程度不一样，因此利用近红外光谱进行物质识别，选出特征差异比较明显的特征波长，建立校正模型。目前常用的特征波段选择算法复杂计算量大、速度慢、识别率低。

主成分分析-马氏距离法，首先利用主成分分析法将样本的光谱数据降维，得到主成分载荷矩阵和得分矩阵，然后利用得分向量计算马氏距离，最后结合设定阈值将异常样本剔除。张灵帅等人利用近红外光谱的主成分分析-马氏距离聚类判别卷烟的真伪，结果前4个的主成分贡献率已达到了98.46％，说明4个主成分就可以代表原始光谱主要的信息；120个样本随机抽取100个建立4个主成分的定性判别模型，其相关系数达到了0.95；对20个未知样本做预测，准确率达到100％。

显著性差异处理，是一种特征选择的方法。该方法是计算每组数据与其他组数据的显著性分数，然后逐个与设定好的显著性分数做比较，如果大于设定好的显著性分数，说明差异比较大，可作为分类的重要依据。王东利用显著性假设检验方法有效的对癌症基因进行特征选择，并且利用特征数据进行建模，分类的精度达到了99.02％。

发明内容

针对现有技术的不足，本发明提供一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法。

本发明的技术方案为：

一种基于显著性假设检验和偏最小二乘法的近红外光谱数据分析方法，包括以下步骤：

(1)采集样本的近红外光谱数据，并进行样本预处理；所述样本预处理的方法为主成分分析-马氏距离法；

(2)将样本预处理后的数据进行显著性差异处理；具体步骤为：设波长对应属性吸光度有n个类C₁，C₂,…C_i…,C_n；n个类对应的属性均值分别是每一类的显著分数为z_l；设定z_l的阈值；如果显著分数z_l超过设定的阈值，判定相应的波段差异较大，相应的波长数据为重要数据，并且保留该波长数据；

显著性差异参数z_l采用以下公式：

其中：l表示波长，是l波长C_j类吸光度的平均值；是l波长C_i类吸光度的平均值；s_li是l波长C_i类吸光度的方差；n_i是C_i类样本数；s_lj是l波长C_j类吸光度的方差；n_j是C_j类样本数；显著性差异处理的有益效果是，放大有用波段，减少光谱数据，提高建模速度和分类准确率。

(3)将显著性差异处理后的数据按比例分为训练集和预测集；