[发明专利]基于统计学方法和希尔伯特包络谱的有监督数据压缩方法

说明书

本发明公开了基于统计学方法和希尔伯特包络谱的有监督数据压缩方法，属于光谱数据分析技术领域。为了解决传统数据压缩方法处理非高斯分布拉曼光谱时候，对局部微小差异的不敏感问题，构建3个步骤实现拉曼光谱数据压缩和小组分信息提取：经验模态分解、希尔伯特包络谱变换、一元单因素方差分析。使用该方法，原始光谱无需去噪去基线预处理，光谱处理过程简化，避免了拉曼微小差异信号在预处理过程被滤掉；通过经验模态分解获取了拉曼光谱局部特征；最后通过希尔伯特包络谱变换实现第一次无监督数据压缩，结合一元单因素方差分析方法实现第二次有监督数据压缩。

【技术领域】

本发明为一种基于统计学方法和希尔伯特包络谱的有监督数据压缩方法，属于光谱数据分析技术领域。

【背景技术】

拉曼光谱数据量大，尤其是对于组分众多的有机生物样本，光谱中包含了多种组分的拉曼信息，这些信息相互重叠，复杂度很高，具备典型的高数据体量特性。其次，拉曼光谱的光谱分辨率高，包含较多波段，波段之间具有强相关性，数据具有冗余堆叠特性。最后，拉曼光谱特征谱峰库储备不够充分，特征谱峰指认困难，拉曼谱峰归属认证成本高昂。

拉曼光谱的高数据体量特性，致使基于拉曼光谱的分析处理所涉及的运算量较大，计算负担较重；高冗余度特性为数据处理及分析带来困难，严重影响模式分类等方法的有效性；谱峰归属认证高成本特性通常可导致全谱数据建模带来的模型训练时间长和迭代次数多，以及容易陷入局部收敛等问题。

如何消除冗余信息，高效压缩拉曼数据是众多学者重点关注的问题。常见的无监督数据压缩方法有主成分分析、局部线性嵌入、等距映射、核主成分分析。主成分分析(Principal Component Analysis，PCA)是目前应用最为广泛的降维方法之一，根据方差最大化原理将数据从高维空间向低维空间映射，并使之投影后方向相互正交。另一种数据压缩方法局部线性嵌入(Locally Linear Embedding，LLE)算法是流形学习中非线性降维方法中最为经典的算法之一，能够使降维后的数据较好地保持原有流形结构，并找到每个样本的k个最近邻域。等距映射(isometric mapping，ISOMAP)是利用外维欧式空间的一个潜在的流形体上距离来代替点之间的欧氏距离，然后用计量多元尺度算法进行数据降维。KPCA(Kernel-PCA)是一种非线性数据处理方法，其核心思想是通过一个非线性映射把原始空间的数据投影到高维特征空间，然后在高维特征空间中进行基于主成分分析的数据处理。有监督数据压缩方法中线性判别分析(Linear Discriminant Analysis，LDA)算法是模式识别的经典算法，其基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，使投影后空间中有最佳的可分离性。但是，这些无监督和有监督数据压缩方法中的全局线性属性限制了它们在非高斯分布数据上的有效性。通常认为拉曼光谱是洛伦兹特性，非高斯分布，以及拉曼光谱多组分复合特性使得现有全局压缩方法在处理拉曼数据中微小差异的时候，会由于相对贡献率低而被丢弃或者差异信息重叠而被大组分信息覆盖。

【发明内容】

为了解决传统数据压缩方法处理非高斯分布拉曼光谱时候，对局部微小差异的不敏感问题，本发明提供一种统计学方法和希尔伯特包络谱相结合的有监督数据压缩方法，该方法不仅能够压缩拉曼光谱数据，而且能够有效提取小组分信息。

为实现以上目的，本发明是通过以下步骤来实现的：

(1)首先基于经验模态方法分解拉曼光谱，获得特征模态分量；

(2)然后针对特征模态分量进行希尔伯特变换，获得各分量对应的希尔伯特包络谱；

(3)最后对希尔伯特包络谱进行一元单因素方差分析，得到类间差异显著、类内无显著差异数据，即为压缩后数据；

【附图说明】

图1水稻叶片拉曼光谱

图2本征模态函数IMF1-7