[发明专利]一种改进的对缺失值插补的算法

说明书

本发明公开一种改进的对缺失值插补的算法，包括：对所有数据进行层次类聚、针对含有缺失值的类，根据是否有缺失值的记录，将记录分为完全数据组m₁和缺失数据组m₂、将m₁中的数据随机分成训练集和测试集，用k种插补方法预测测试集，得出准确度最高的方法、判断此方法是否为弱方法，若是，结合bagging算法得到该类的缺失值插补的函数，若否，该算法为最终算法、运用最终插补函数对该类的缺失值进行插补、判断是否存在还有缺失值的类。所述改进的对缺失值插补的算法会根据数据特有的性质，在众多的缺失值插补方案中，选择比较适合该数据集的方法，利用bagging算法的原理，对比各种方法对缺失值的插补效果，从而得出比较实用该数据的缺失值插补的方法。

技术领域

本发明涉及数据分析预处理领域，具体涉及一种改进的对缺失值插补的算法。

背景技术

当今社会正处于一个大数据时代，在许多问题的研究中，常有数据缺失或无法获得数据的情况发生，导致无法全面有效地运用数据进行分析研究。为了避免对研究造成影响，研究者从设计的阶段就应该开始采取各种措施避免研究过程中产生缺失值，对于已经产生的缺失值，则要尽可能地采取措施进行补救。对缺失数据插补合理的估计值，可减少由于数据缺失导致的估计量偏差，力图构造一个完整数据集，便于统计分析方法的使用。在对缺失值插补的模拟研究中通过比较插补值与真实值的近似度来衡量插补结果。比较常见的缺失值插补方法有：均值替换法、热卡填充法、回归替换法、多重替代法等几十种。研究表明，每种方法有其各自的适用条件和优缺点，数据缺失比例不同的时候，不同方法的填充效果不同。另外，有些方法对数据的分布有很强的依赖性，例如最大似然法，但实际生活中收集到的数据的分布往往难以确定。

由于数据的缺失情况在实际运用中因不同行业，不同变量，不同类型而异，且数据分布情况以及缺失情况不能清晰地确定等，无法确定用哪种方法进行缺失值插补最为合适。在实际运用中往往根据个人主观和以往经验来选择插补方法进行缺失值插补，对缺失值插补的合理性和正确性难以把握，需要一种方案来解决选择插补方法的难题。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，提供一种改进的对缺失值插补的算法，该算法包括以下步骤：

步骤S1：对所有数据进行层次类聚；

步骤S2：针对含有缺失值的类，根据是否有缺失值的记录，将记录分为完全数据组m₁和缺失数据组m₂；

步骤S3：将m₁中的数据随机分成训练集和测试集，用k种插补方法预测测试集，得出准确度最高的方法，k为自然数；

步骤S4：判断此方法是否为弱算法，若是，结合bagging算法得到该类的缺失值插补的函数，若否，该算法为最终算法；

步骤S5：运用最终插补函数对该类的缺失值进行插补；

步骤S6：判断是否存在还有缺失值的类，若是，回到步骤S2，若否，结束算法。

较佳的，所述步骤S3中的插补方法包括均值替换法，热卡填充法，回归替换法，多重替代法。

较佳的，所述步骤S4中结合bagging算法获得函数的思路为：判断缺失值是否为离散型，若是，则直接根据投票结果对缺失值进行插补，否则，通过得票的平均值对缺失值进行插补。

较佳的，所述步骤S3中采用K-S正态性检验评价不同方法处理后的数据集是否符合正态分布。

较佳的，所述步骤S3中采用Wi lcoxon符号秩和检验比较处理后的数据集与完整数据集的分布是否来自同一总体。