[发明专利]一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法

说明书

本发明涉及一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法，属于数据分类技术领域。本发明对数据进行预处理，采用中位数填充缺失值，运用Tukey’smethod方法剔除掉异常值，使用离差标准化对数据进行规范化处理；其次，采用结合了过采样和欠采样组合的SMOTEENN综合采样方法进行数据平衡；最后，平衡后的数据集用来训练随机森林分类器，并在测试集上测试分类效果，以此实现有效针对具有缺失值和类别不平衡问题的非小细胞肺癌生存预测二分类方法。本发明在非小细胞肺癌数据集上进行的实验证明了方法的有效性和优越性，提高有缺失值和不平衡的非小细胞肺癌数据分类的精度，有助于实现更准确的医学决策。

技术领域

本发明涉及一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法，特别涉及一种结合中位数填充缺失值和SMOTEENN综合采样进行数据平衡处理的方法，属于数据分类技术领域。

背景技术

肺癌是一种恶性肿瘤，已成为世界上最致命的疾病之一。而非小细胞肺癌在总肺癌病例中占85％左右，由于其高发病率和高死亡率，非小细胞肺癌占医疗支出的很大一部分，并且对家庭和社区造成沉重负担。因此，更准确地预测癌症患者的生存情况并在诊断和治疗方面做出更好的临床决策尤为重要，包括治疗方法的选择、治疗的时间和随后的就诊，这可以对治疗费用和治疗效果产生很大的影响。

随着医学信息化的不断发展，大量可靠的癌症数据用于构建机器学习模型以预测疾病的存活率。生存预测是癌症预后的任务之一，五年生存情况是医学中常用于评估手术和治疗效果的指标。相较于早期癌症生存预测基于恶性肿瘤的临床特征和医生的医疗经验的估计，如今可以通过越来越多的数据挖掘技术应用在医疗保健中从而进一步利用那些未充分利用的医疗数据。通常，医学数据中存在缺失值和类不平衡问题，这对分类准确性有很大影响。

发明内容

本发明提供了一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法，以用于避免了主要类别过度偏置分类的问题，在非小细胞肺癌数据集上实现的二分类方法拥有较优的分类准确率。

本发明的技术方案是：一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法，包括以下步骤：首先，用中位数填充缺失值比例低于70％的样本，删除缺失值比例超过70％的样本，运用Tukey’s method方法剔除掉异常值，使用离差标准化对数据进行规范化处理；其次，采用结合了过采样和欠采样组合的SMOTEENN综合采样方法进行数据平衡用于解决数据集中的类别不平衡问题；最后，平衡后的数据集用来训练随机森林分类器，并在测试集上测试分类效果，以此实现有效针对具有缺失值和类别不平衡问题的非小细胞肺癌生存预测二分类方法。

所述处理有缺失值和不平衡非小细胞肺癌数据的二分类方法的具体步骤如下：

Step1、缺失值处理：对于数据集中缺失值比例低于70％的样本进行补齐，采用中位数对缺少的部分进行填充，删除缺失值比例高于70％的样本；

Step2、异常值处理：数据集中存在的异常值会影响到对总体数据的分析，因而需要剔除，采用Tukey’s method方法检测出并剔除掉离群点即异常值；

Step3、数据归一化：当变量具有不同的尺度和范围时，归一化是重要的，否则，算法将偏向具有更大尺度的变量，因此使用min-max对数据进行标准化；

Step4、数据不平衡处理：类别不平衡在分类过程中具有至关重要的影响，当多数类的比重过大时，分类器往往会偏向多数类同时也具有好的分类准确率，但此时的分类效果无法得到正确的评价，因而采用结合了过采样和欠采样组合的

SMOTEENN综合采样方法进行平衡处理；

Step5、获得平衡数据集：数据进行平衡处理后形成新的平衡数据集，增加少数类的数量，以实现类的平衡，提高分类器效果的可评价性；